해당 글은 Airflow 공식문서 중 Overview 내용을 번역하여 공부한 내용입니다. 오역이나 잘못된 내용이 있을 경우 댓글 부탁드리겠습니다. Airflow란? Airflow란 Workflow를 빌드하고, 실행하는 것을 도와주는 플랫폼이다. 최근 ETL 파이프라인을 만드는 데 가장 핫한 프레임워크라고 할 수 있다. Airbnb에서 시작되어 아파치 오픈소스 프로젝트로 관리되고 있다. Workflow는 DAG로 표현되며, DAG는 종속성과 데이터의 흐름을 고려하여 정렬된 일련의 Task라는 개별 작업들로 구성된다. 위 그림과 같이 DAG는 여러 Task들로 구성된다. Task 간의 종속성과, 작업 실행/재실행 순서 및 분기 처리까지 지정할 수 있다. Airflow 아키텍처 Airflow 설치 시 일반적으..

Fluentd를 업무에 활용할 일이 생겨, 간단히 Fluentd란 무엇인지 정리하고 어떤 컴포넌트로 구성이 되어있는지 작성해봅니다. 아래 내용은 공식 문서에 있는 내용을 정리하였습니다. Fluentd란? 단일화된 로깅 레이어를 위한, 오픈소스 데이터 수집기이다. 다양한 소스들(input)로부터 메시지를 읽어올 수 있으며, 마찬가지로 다양한 출력(output)으로 메시지를 export 할 수 있다. 해당 프로젝트는 TreasureData에 의해 만들어지고, 지원되고 있다. Overview fluentd는 log를 기본적으로 가장 공통적인 포맷인 JSON으로 다룬다. 기본적으로 C로 작성되었으며, Thin Ruby Wrapper로 하여금 사용자들에게 유연함을 제공한다. Ubuntu, CentOS, Windo..