在Airflow中财饥，DAG的跑批就是一個(gè)很漫長(zhǎng)的過(guò)程换吧，如果涉及到貼源層的表很多的時(shí)候，我們往往要花幾天的時(shí)間去跑批钥星，不出問(wèn)題還好沾瓦，一旦出現(xiàn)問(wèn)題，真的就很難預(yù)計(jì)時(shí)間了谦炒。但是我們的測(cè)試時(shí)間往往都是被規(guī)定好的贯莺，在這個(gè)過(guò)程中在，怎么去權(quán)衡和提高效率就顯得很重要了宁改。
Airflow中遇到的問(wèn)題大致有如下幾種：
1缕探、大數(shù)據(jù)相關(guān)的問(wèn)題（又分為環(huán)境為題和元數(shù)據(jù)問(wèn)題）
2、DAG中的SQL代碼邏輯問(wèn)題
1.DAG種的大數(shù)據(jù)相關(guān)的問(wèn)題
在遇到這類問(wèn)題的時(shí)候还蹲，我們往往都是找運(yùn)維的同事幫忙或者自己解決爹耗。比如常見的一些錯(cuò)誤。
- Airflow出錯(cuò)谜喊，顯示表匹配不到潭兽，原因：hive中元數(shù)據(jù)存在多條，導(dǎo)致匹配出錯(cuò)锅论，刪掉保留一條讼溺，重新跑，解決問(wèn)題最易。
- 測(cè)試環(huán)境dag上有這些配置需要注釋掉(尤其是測(cè)試環(huán)境資源緊張的情況)
set mapreduce.map.memory.mb=20360(作用：調(diào)高map內(nèi)存到156G)
set mapreduce.reduce.memory.mb=20360(作用：調(diào)高reduce內(nèi)存到156G)
2.DAG中的SQL代碼邏輯問(wèn)題
DAG中的SQL代碼問(wèn)題怒坯，就需要根據(jù)具體的邏輯是進(jìn)行判斷和思考炫狱。
