文/明道創(chuàng)始人任向暉 此文已被擴(kuò)寫為完整版本電子書疟赊，在知乎梗搅，豆瓣和Kindle出版融虽。點擊以下鏈接可購買 從問題中學(xué)管理：十個高效管理方法論涣达。 1肮疗、帕累托原則 （80/20原則...
發(fā)簡信
IP屬地：北京
-
我把百年來的管理概念和方法精華總結(jié)為10000個字 -
Hadoop 源碼學(xué)習(xí)筆記(8)--Yarn 簡介
Hadoop 1.x 時使用 JobTracker 對 MapReduce 任務(wù)進(jìn)行任務(wù)調(diào)度践险，但這樣導(dǎo)致一個結(jié)果稀颁，部署了 JobTracker 的節(jié)點只能夠支持 MapRed...
-
Hadoop 源碼學(xué)習(xí)筆記(5)--Hdfs 之 BlockManager 解析之前的章節(jié)說過 FSDirectory 中記錄了所有的文件節(jié)點信息馏谨，而具體的文件內(nèi)容則被分布式的存儲在各個 DataNode 上别渔。盡管通過 FSDirectory 我們能夠知...
-
Spark SQL，DataFrames和Datasets學(xué)習(xí)本內(nèi)容主要來自當(dāng)前Spark最新版2.1.0的官方文檔sql-programming-guide惧互，以及一些其他閱讀時搜索找到的相關(guān)輔助資料哎媚。 在所有工作開始前，也就是在官網(wǎng)文...
-
一次服務(wù)器CPU占用率高的定位分析
背景 通過性能監(jiān)控發(fā)現(xiàn)上線服務(wù)器cpu某核占用率已經(jīng)達(dá)到了100%喊儡，而且是由我們的某個核心服務(wù)導(dǎo)致的拨与。幸虧由于我們的服務(wù)進(jìn)程由多個相同worker（線程）調(diào)度承擔(dān)的，所以除了...
-
Spark-Core源碼精讀(14)艾猜、Shuffle--Write部分前面我們分析了Spark中具體的Task的提交和運行過程截珍，從本文開始我們開始進(jìn)入Shuffle的世界，Shuffle對于分布式計算來說是至關(guān)重要的部分箩朴，它直接影響了分布式系統(tǒng)...
-
Spark-Core源碼精讀(15)岗喉、Shuffle--Read部分上一篇文章我們分析了Shuffle的write部分，本文中我們來繼續(xù)分析Shuffle的read部分炸庞。 我們來看ShuffledRDD中的compute方法： 可以看到首先調(diào)...
