Table of Contents * 요약 * airflow configuration * 두개의 인스턴스에서 각각 worker 실행하기 * task가 실행될 worker를 명시적으로 지정하기 * 1번 인스턴스에서 * 2번 인스턴스에서 * 참조 요약 * 다루는 내용 * 분산 인스턴스에서 각각 airflow worker를 실행하고 task를 분산해서 실행하는법 * task가 실행될 worker를 명시적으로 지정하는법 * 테스트 환경 * 두 개의 Amazon EC2 Instance 사용 * 1번 Instance에 아래와 같이

Airflow CeleryExecutor 사용하기 Table of Contents * Rabbitmq, Celery 설치 * Rabbitmq 설정 * airflow.cfg 수정 * localhost?? * meta db 설정 * 실행 * 참조 Airflow는 기본값으로 sqlite를 사용한다. sqlite에서는 SequentialExecutor만 설정가능하기에 DAG내에서 task의 병렬실행이 불가능하다. 병렬실행을 가능하게 하려면 LocalExecutor나 CeleryExecutor를 사용해야하는데 그러기위해선 Database를 Sqlite가 아닌 다른 Database를 사용해야 한다. Database설치&설정은 이전 글을

Airflow LocalExecutor 사용하기 Table of Contents * Postgres 설치 * Database 설정 * airflow.cfg 수정 * meta db 설정 * airflow initdb * 참조 Airflow는 기본값으로 sqlite를 사용한다. sqlite에서는 SequentialExecutor만 설정가능하기에 DAG내에서 task의 병렬실행이 불가능하다. 병렬실행을 가능하게 하려면 LocalExecutor나 CeleryExecutor를 사용해야하는데 그러기위해선 Database를 Sqlite가 아닌 다른 Database를 사용해야 한다. 이 글에선 postgres를 예로 들어 설명하겠다.

pipeline을 따라 만들어보며 Airflow의 concept, object, usage를 습득하기. Table of Contents * Example Pipeline definition * It’s a DAG definition file * Importing Modules * Default Arguments * Instantiate a DAG * Schedule interval * Tasks * Templating with Jinja * Setting up Dependencies * Testing * Running the Script * command line Metadata Validation * Testing * Backfill Example Pipeline definition "

Airflow 설치하기 Table of Contents * Getting Airflow * Extra Packages Getting Airflow pip install airflow extra packages를 설치하고자 하는 경우 아래처럼 패키지명을 명시해준다. pip install "airflow[s3, postgres]" Extra Packages celery, jdbc, hive, mysql, s3 등등. 전체 목록은 아래 링크 참조. http://airflow.incubator.apache.org/installation.html

# airflow needs a home, ~/airflow is the default, # but you can lay foundation somewhere else if you prefer # (optional) export AIRFLOW_HOME=~/airflow # install from pypi using pip pip install airflow # initialize the database airflow initdb # start the web server, default port is 8080 airflow webserver -p 8080 * export AIRFLOW_