해당 글은 Airflow 공식문서 중 Overview 내용을 번역하여 공부한 내용입니다. 오역이나 잘못된 내용이 있을 경우 댓글 부탁드리겠습니다. Airflow란? Airflow란 Workflow를 빌드하고, 실행하는 것을 도와주는 플랫폼이다. 최근 ETL 파이프라인을 만드는 데 가장 핫한 프레임워크라고 할 수 있다. Airbnb에서 시작되어 아파치 오픈소스 프로젝트로 관리되고 있다. Workflow는 DAG로 표현되며, DAG는 종속성과 데이터의 흐름을 고려하여 정렬된 일련의 Task라는 개별 작업들로 구성된다. 위 그림과 같이 DAG는 여러 Task들로 구성된다. Task 간의 종속성과, 작업 실행/재실행 순서 및 분기 처리까지 지정할 수 있다. Airflow 아키텍처 Airflow 설치 시 일반적으..

AWS의 Solutions Architect Associate 자격증 취득 후기를 남겨보려고 합니다. AWS SAA 시험 신청한 이유 AWS SAA는 AWS 에서 제공하는 많은 서비스들에 대해서 원하는 내용대로 구성하고 사용이 가능한지에 대한 자격시험입니다. AWS는 국내에서 지분이 굉장히 크기 때문에 언젠가 한번 공부를 해봐야겠다는 생각이 있었고, 그리고 SAA-02가 8월 29일에 만료되기 때문에, 빠르게 봐야겠다는 생각이 있었습니다. 현재는 만료.. ( 현재는 약 30개 정도의 제품이 더 시험에 추가된 걸로 알고 있습니다. ) SAA를 선택한 이유는 팀장님께서 전체적인 AWS 제품들에 대한 이해도를 높일 수 있다고 추천해주셔서 선택하였습니다. 공부 방법 AWS를 사용해본 적이 전혀 없는 상태로 아래..

Comparable 인터페이스 https://docs.oracle.com/javase/8/docs/api/java/lang/Comparable.html 정렬 수행 시에, 기본적으로 적용되는 정렬의 기준이 되는 메서드를 정의하는 인터페이스 사용 방법 Comparable 인터페이스를 구현한 뒤에, 내부에 있는 compareTo 메서드를 원하는 정렬 기준대로 구현하여 사용한다. class Student implements Comparable { int grade; // compareTo 메서드 오버라이드 @Override public int compareTo(Student anotherStudent) { return Integer.compare(grade, anotherStudent.grade); } } 생성..

Chapter 12 - 22/06/01 오늘 읽은 범위 : 12장 창발성 일 때문에 못 읽고 있다가, 조금 여유로워져서 남은 부분을 이어서 읽어보려 한다. 11장 시스템 부분에서는 어떻게 하면 전체적인 시스템 관점에서 효율적으로 설계하고 코딩할 수 있는지 얘기한다. 개인적으로 느끼기에 아직 이해가 안 되는 어려운 부분이 많아서, 11장은 훑어보면서 읽고 12장을 정리해보려 한다. 11장은 추후에 자세하게 정리해보려 한다. 책에서 기억하고 싶은 내용 켄트 벡은 다음 규칙을 순서대로 따르면 설계는 단순하다고 말한다. 모든 테스트를 실행한다. 중복을 없앤다. 프로그래머의 의도를 표현한다. 클래스와 메서드 수를 최소로 줄인다. 설계원칙 1. 모든 테스트를 실행하라 철저한 테스트가 가능한 시스템을 만들면 더 나은..

데이터 웨어하우스(Data Warehouse) 데이터(정보) + 웨어하우스(창고) 의 합성어이다. 여러 데이터 소스로들로부터, ETL 과정을 거쳐 하나의 통합된 데이터 창고를 구축한다. 이름에 볼 수 있듯이, 데이터 웨어하우스는 많은 양의 데이터를 오랫동안 보관하는 것에 최적화되어있다. 데이터 웨어하우스에는 업무적으로 중요한 데이터가 저장되고, 전사적인 관점에서 통합하여 관리된다. 따라서 데이터 웨어하우스의 데이터를 아무때나 함부로 사용하는 것은 좋지 않다. 데이터 마트(Data Mart) 따라서 데이터 웨어하우스의 데이터를 이용하여 분석 및 개발이 필요할 경우, 필요한 데이터를 추출하여 데이터 마트를 따로 구축한다. 전사적인 데이터를 보관하는 데이터 웨어하우스와 달리, 특정 목적에 따라 추출하여 사용한..