發(fā)簡(jiǎn)信
IP屬地：河南
-
Flink StreamTask OperatorChain分析
Flink的作業(yè)StreamTask是任務(wù)執(zhí)行的核心，其執(zhí)行的本質(zhì)即為各個(gè)operator的執(zhí)行，而operator之間又有前后依賴關(guān)系，各op...
-
Flink-StreamTask啟動(dòng)流程分析
StreamTask是流作業(yè)的任務(wù)基類，通常一個(gè)流作業(yè)的task啟動(dòng)由該方法的invoke函數(shù)為入口惕它，本文基于Flink1.11.0該類生命流程...
-
Spark ByPassMergeSortShuffleWriter寫流程分析
Spark的shuffleWriter一共有三種曾棕，本文分析 ByPassMergeSortShuffleWriter的shuffle寫數(shù)據(jù)過程 ...
-
Spark UnsafeShuffleWriter寫流程分析
Spark的UnsafeShuffleWriter是Tungsten-Project（內(nèi)存管理）引入的新的Shuffle Writer油昂。該wri...
-
Spark SortShuffleWriter寫流程分析
Spark的shuffleWriter一共有三種敬肚，本文分析 SortShuffleWriter的shuffle寫數(shù)據(jù)過程. SortShuffl...
-
Flink-on-Yarn-Per-job分析
JobManager啟動(dòng)分析 JobManager/AM進(jìn)程啟動(dòng)命令 JobManager啟動(dòng)類 org.apache.flink.yarn.e...
-
Spark Shufflewrite分析
分布式計(jì)算的shuffle操作通常是分布式應(yīng)用計(jì)算性能的瓶頸點(diǎn)，因此一個(gè)好的shuffle實(shí)現(xiàn)（shuffle write和shuffle re...
-
Zeppelin on Flink小試牛刀
Zepplin 從0.9 版本（當(dāng)前該版本還未release束析，只有預(yù)覽版）開始支持Flink最新版本1.10艳馒，鑒于Flink1.10版本全面合入...
-
平臺(tái)開發(fā)要關(guān)注事項(xiàng)
平臺(tái)開發(fā)與項(xiàng)目或者一般的基于特定項(xiàng)目應(yīng)用開發(fā)要求不盡一致，項(xiàng)目講究的是快速上線员寇。在快速開發(fā)的過程中難免有欠考慮的情況弄慰，但可以通過快速迭代，人肉運(yùn)...