pyspark

A collection of 2 posts
[airflow] 5. Pyspark sample code on airflow
dev

[airflow] 5. Pyspark sample code on airflow

Airflow에서 Pyspark task 실행하기 Table of Contents * data_download, spark_job, sleep 총 3개의 task가 있다. * data_download가 완료된 후, 동시에 나머지 두개의 task가 실행되는 DAG이다. * 병렬로 task가 수행된다는걸 보여주기위해 sleep task를 만들었다. * gantt를 보면 data_download가 완료된 후, 동시에 나머지 두개의 task가 실행되는걸 확인할 수 있다. from airflow import
2 min read