謝謝回復(fù)。現(xiàn)在主攻Spark了黎棠，畢竟Hadoop MapReduce部分已經(jīng)過時了椎木。
Hadoop源碼學(xué)習(xí)——找到main()函數(shù)（1）【至于我為什么要寫這一系列文章，目的為“縫合”朝卒，即把別人的知識枝丫縫合到自己的知識主干上证逻，把別人的東西化為自己的東西。通俗地說扎运，就是要寫出來瑟曲。當(dāng)然，這是知識縫合的方式之一豪治《床Γ】...
本文想探討的問題有兩個： 如果我們在synchronized代碼塊中創(chuàng)建一個Future會發(fā)生什么？ 如果我們在創(chuàng)建Future的代碼塊中加synchronized又會發(fā)生什...
NOTE：本文要求讀者對spark的運(yùn)行原理有基本的了解负拟。 需要明確的一點(diǎn)是烦衣，abort不同于fail。如果一個stage fail了掩浙，那么它還有可能被resubmit花吟，然后...
本文要求讀者了解DAGScheduler如何劃分一個作業(yè)的stages。本文主要內(nèi)容是作者個人關(guān)于spark在提交多個作業(yè)時厨姚，stage劃分的一些小思考衅澈。 假設(shè)我們有如下圖所...
Note：本文要求讀者對UnifiedMemoryManager的原理有基本的了解。希望讀者能與作者一起探討谬墙。 本文試圖分析UnifiedMemoryManager中的may...
我以近十天的編譯Spark的痛苦經(jīng)歷今布，來分享一下如何在國內(nèi)快速的完成Spark編譯。 其實(shí)拭抬，唯一的任務(wù)就是將Spark中的默認(rèn)maven中央倉庫地址部默，替換成國內(nèi)的maven倉...
今天調(diào)試spark(read分支)，設(shè)置斷點(diǎn)造虎，debug運(yùn)行傅蹂，就是不能在斷點(diǎn)的地方停止運(yùn)行。但是算凿，我能非撤莺肯定，代碼是會執(zhí)行到這里的澎媒。 另外搞乏，在某些函數(shù)單步執(zhí)行的時候，執(zhí)行順...
今天我才意識到，我的身上發(fā)生了重大問題侍筛。我已經(jīng)患上了嚴(yán)重的拖延癥Ｓ┰怼！匣椰！ 我一直以為自己的有分寸和把握裆熙，到最后都成為了把我推向要死的邊緣！ 十一回家禽笑，好好休整入录！整理一下最近拖的...
Thymeleaf 是現(xiàn)代化服務(wù)器端的Java模板引擎蠢络，不同與JSP和FreeMarker，Thymeleaf的語法更加接近HTML迟蜜，并且也有不錯的擴(kuò)展性刹孔。詳細(xì)資料可以瀏覽官...
我突然意識到，簡書之所以能被稱為簡書娜睛，應(yīng)該以非常簡便的方式去書寫芦疏。所以，更多的時候微姊，我們只寫一句話也足夠。這也可以是非常好的記錄分预。 附一張晚上在公司拍的照片兢交。
(轉(zhuǎn)載說明：本文非原創(chuàng)，轉(zhuǎn)載自http://ifeve.com/java-nio-all/） Java NIO: Channels and Buffers（通道和緩沖區(qū)）標(biāo)準(zhǔn)...
我們先來看看Hadoop源碼中對DFS Client的注釋說明： 顯然，DFSClient在DistributedFileSystem和NameNode和之間起到了橋梁的作用...
閑話少敘救赐，言歸正傳涧团。這次，我們從"-ls /"命令入手，窺探一下hdfs泌绣。hdfs模塊提供了一個org.apache.hadoop.fs.FsShell類用來支持用戶在終端的...
這里钮追，我們省略hadoop源碼導(dǎo)入eclipse的過程。在上一篇我們尋找main()函數(shù)的文章阿迈，我們可以看到元媚，腳本文件啟動hdfs的過程分兩步，見下圖： 先啟動namenod...
【至于我為什么要寫這一系列文章苗沧，目的為“縫合”刊棕，即把別人的知識枝丫縫合到自己的知識主干上，把別人的東西化為自己的東西待逞。通俗地說甥角，就是要寫出來。當(dāng)然飒焦，這是知識縫合的方式之一蜈膨。】...
