Airflow CeleryExecutor 사용하기 Table of Contents * Rabbitmq, Celery 설치 * Rabbitmq 설정 * airflow.cfg 수정 * localhost?? * meta db 설정 * 실행 * 참조 Airflow는 기본값으로 sqlite를 사용한다. sqlite에서는 SequentialExecutor만 설정가능하기에 DAG내에서 task의 병렬실행이 불가능하다. 병렬실행을 가능하게 하려면 LocalExecutor나 CeleryExecutor를 사용해야하는데 그러기위해선 Database를 Sqlite가 아닌 다른 Database를 사용해야 한다. Database설치&설정은 이전 글을

Airflow LocalExecutor 사용하기 Table of Contents * Postgres 설치 * Database 설정 * airflow.cfg 수정 * meta db 설정 * airflow initdb * 참조 Airflow는 기본값으로 sqlite를 사용한다. sqlite에서는 SequentialExecutor만 설정가능하기에 DAG내에서 task의 병렬실행이 불가능하다. 병렬실행을 가능하게 하려면 LocalExecutor나 CeleryExecutor를 사용해야하는데 그러기위해선 Database를 Sqlite가 아닌 다른 Database를 사용해야 한다. 이 글에선 postgres를 예로 들어 설명하겠다.

pipeline을 따라 만들어보며 Airflow의 concept, object, usage를 습득하기. Table of Contents * Example Pipeline definition * It’s a DAG definition file * Importing Modules * Default Arguments * Instantiate a DAG * Schedule interval * Tasks * Templating with Jinja * Setting up Dependencies * Testing * Running the Script * command line Metadata Validation * Testing * Backfill Example Pipeline definition "

Airflow 설치하기 Table of Contents * Getting Airflow * Extra Packages Getting Airflow pip install airflow extra packages를 설치하고자 하는 경우 아래처럼 패키지명을 명시해준다. pip install "airflow[s3, postgres]" Extra Packages celery, jdbc, hive, mysql, s3 등등. 전체 목록은 아래 링크 참조. http://airflow.incubator.apache.org/installation.html

# airflow needs a home, ~/airflow is the default, # but you can lay foundation somewhere else if you prefer # (optional) export AIRFLOW_HOME=~/airflow # install from pypi using pip pip install airflow # initialize the database airflow initdb # start the web server, default port is 8080 airflow webserver -p 8080 * export AIRFLOW_