1. 定義
Airflow是一個(gè)可編程、調(diào)度和監(jiān)控的工作流平臺(tái)怠益。
Airflow用戶可以定義一組有依賴關(guān)系的任務(wù)遵班，即郵箱無環(huán)圖（DAG），按照依賴依次執(zhí)行嫩码。
Airflow提供了豐富的命令行和強(qiáng)大的Web UI誉尖，可以方便地管控調(diào)度任務(wù)以及實(shí)時(shí)監(jiān)控運(yùn)行狀態(tài)。
2. 競品對(duì)比
2.1. Linux Crontab
免費(fèi)铸题，但只能滿足最基本需求
2.2. 商業(yè)軟件
3. ETL痛點(diǎn)
- 日益增加的數(shù)據(jù)量
- 快速排查任務(wù)失敗的原因
- 每個(gè)新工具都要重新學(xué)習(xí)新的配置規(guī)范
- 重試铡恕，監(jiān)控，報(bào)警
- 敏捷高效地開發(fā)以滿足業(yè)務(wù)需求
- 不均衡的數(shù)據(jù)峰值
——數(shù)據(jù)工程師害怕on call
（ETL = Extract Transform and Load）
4. 特點(diǎn)
Reference:
【Airflow從零到神】01- Airflow簡介_嗶哩嗶哩_bilibili
