[Practice] Quick tour of Airflow UI

docker run --rm -d -p 8080:8080 airflow-basic

localhost:8080 접속

HOME

---

• 해당 토글로 Dag를 일시 정지하거나 다시 켤 수 있습니다. Dag를 수동으로 작동시켜도 해당 토글을 켜야합니다.
• example이라는 태그가 보입니다. 태그를 통해서 Filter를 걸어서, 해당 태그의 Dag만 볼 수 있습니다.

• 필터를 거는 곳입니다. 예를 들어 팀 별로 tag를 걸 수 있습니다.

• Audit Logs를 클릭하면, 로그 메세지들을 볼 수 있습니다.

• Dag Run의 성공 실패 여부를 볼 수 있습니다. 이전의 Dag Run의 결과도 볼 수 있습니다.
• Schedule 시간을 확인할 수 있습니다.

• Last Run: 마지막 DAG의 Execution Date을 볼 수 있습니다. 이곳에 포함된 문장은 Dag가 시작된 시간에 상응합니다.
• Recent Tasks : 다음 현재 활성화된 Dag 실행에서 실행되는 작업의 상태를 알 수 있습니다. 하지만 이곳에서는 history를 얻을 수 있는 것이 아니고, Active된 Dag Run만 볼 수 있습니다.

• Dag를 수동으로 실행할 수도, Refresh 할 수도, 삭제할 수도 있습니다.
• Dag 삭제는 Dag 파일을 지우지 않고, 관련된 메타데이터만 삭제합니다.

• Links에 마우스를 올리면, 다양한 메뉴를 확인할 수 있습니다.

DAG

---

• Dag를 클릭해서 Dag UI로 진입합니다.

Tree View

• 기본 값은 Tree View입니다. 다이어그램의 history도 얻을 수 있고, 현재 Dag Run도 가능합니다. 현재 작업의 상태도 볼 수 있습니다.

• 현재 Dag가 성공했는지, 실패했는지, 재시도 여부도 알 수 있습니다.
• 왼쪽 상단의 Opertor의 색깔을 통해서, 어떤 Operator를 사용했는지 알 수 있습니다.
• Dag의 History를 알고 싶다면, Tree View를 봅니다.

Graph View

• Graph View를 클릭하면, Dag를 볼 수 있습니다.
• Operator의 색깔로 무슨 Operator인지 알 수 있습니다.

• Auto Refresh를 클릭하면, 어떤 Task가 어떤 상태인지 실시간으로 확인 할 수 있습니다.
• Graph View가 가장 선호 되는 View입니다.

• 각 태스크를 클릭해서, 세부 정보를 볼 수 있습니다.
• 태스크의 세부 정보를 보고 싶다면, Instance Details를 클릭합니다.
• Rendered에서는 런타임에 삽입될 데이터를 확인할 수 있습니다.
• Log는 작업 로그를 확인할 수 있습니다.
• All instances는 해당 task가 사용된 history를 확인할 수 있습니다.

• 모든 Dependency, Task Status, Task Dependency를 무시하고, 작업을 실행할 수 있습니다.
• 만약 Task를 Retry하고 싶다면, Clear 버튼을 클릭하고, 다음 페이지에서 OK!를 클릭하면, 해당 태스크가 클리어 되고, 이후의 해당 Task와 이후 Task가 재실행됩니다(DownStream, Recursive 일 때)
• Upstream은 Task의 이전 작업, DownStream은 Task의 이후 작업입니다.
• Mark Success와 Failed를 이용해서, 해당 Task의 상태도 fail로 수정할 수 있습니다.

Gantt View

• Gantt View는 Dag가 병목 현상에 있다면, 하나의 Task의 크기를 통해서 어떤 Task가 오래 걸리는지 알 수 있습니다.
• 또한 직사각형이 겹치는 것을 확인해서, 어떤 Task가 병렬로 실행되는지 알 수 있습니다. 만약 겹치지 않는다면, 한 Dag 내에서 Task가 순차적으로 작동 중인 것을 알 수 있습니다.

Code View

• Code View를 통해서, 해당 Dag의 코드를 확인할 수 있습니다.
• 권고 되는 사항은, 반드시 Dag를 업데이트 했다면, Code View로 코드의 업데이트 상황을 확인하는 것이 좋습니다.