해당 글은 Airflow 공식문서 중 Overview 내용을 번역하여 공부한 내용입니다. 오역이나 잘못된 내용이 있을 경우 댓글 부탁드리겠습니다. Airflow란? Airflow란 Workflow를 빌드하고, 실행하는 것을 도와주는 플랫폼이다. 최근 ETL 파이프라인을 만드는 데 가장 핫한 프레임워크라고 할 수 있다. Airbnb에서 시작되어 아파치 오픈소스 프로젝트로 관리되고 있다. Workflow는 DAG로 표현되며, DAG는 종속성과 데이터의 흐름을 고려하여 정렬된 일련의 Task라는 개별 작업들로 구성된다. 위 그림과 같이 DAG는 여러 Task들로 구성된다. Task 간의 종속성과, 작업 실행/재실행 순서 및 분기 처리까지 지정할 수 있다. Airflow 아키텍처 Airflow 설치 시 일반적으..