故事背景:
為準備大數(shù)據(jù)數(shù)據(jù)分析源蜡励,需要準確,有效阻桅,大量, 實時穩(wěn)定的數(shù)據(jù)源凉倚,即是需要完成 一個ETL系統(tǒng)
剛好就想到了 airflow
主要功能:
執(zhí)行cron 并保留記錄的可視化追蹤,其后端可用 mysql 和 postgres 作為持久化dags運行記錄的存儲
為大數(shù)據(jù)實現(xiàn) 數(shù)據(jù)的獲取嫂沉,清洗稽寒,定時獲取的功能
官網(wǎng)鏈接:
http://airflow.apache.org/docs/stable/
畫面效果: