作者：郭眾鑫 鏈接：https://www.zhihu.com/question/37310539/answer/71417604 來源：知乎 ...

Stage 是spark 中一個非常重要的概念 睛廊， 在一個job 中劃分stage 的一個重要依據(jù)是否有shuflle 發(fā)生 肆糕，也就是是否會發(fā)生...

輸入可能以多個文件的形式存儲在HDFS上于购，每個File如果過大袍睡，會被拆分成很多塊，稱為Block肋僧。 當(dāng)Spark讀取這些文件作為輸入時斑胜，會根據(jù)具...

準(zhǔn)確的說，map個數(shù)是指map task的個數(shù)嫌吠，map task可以看作進(jìn)程止潘，并發(fā)執(zhí)行一個job任務(wù)。 在map階段讀取數(shù)據(jù)前辫诅，F(xiàn)ileInpu...