Airflow에서 Pyspark task 실행하기
Table of Contents
* data_download, spark_job, sleep 총 3개의 task가 있다.
* data_download가 완료된 후, 동시에 나머지 두개의 task가 실행되는 DAG이다.
* 병렬로 task가 수행된다는걸 보여주기위해 sleep task를 만들었다.
* gantt를 보면 data_download가 완료된 후, 동시에 나머지 두개의 task가 실행되는걸 확인할 수 있다.
from airflow import