Hadoop 學習筆記 1

Hadoop 基本組成結(jié)構(gòu)

  1. Hadoop HDFS 分布式文件系統(tǒng)
  2. Map Reduce 分布式離線并行計算框架
  3. Hadoop YARN 作業(yè)調(diào)度虱咧、集群資源管理的框架
  4. Hadoop Common 支持其他模塊的工具模塊（Configuration继低、RPC轧膘、序列化機制、日志）

Map Reduce

Map 將原始任務進行拆分
Reduce 將任務的結(jié)果進行合并
MapReduce將分布式的方法進行了封裝，簡化了分布式程序的開發(fā)過程

基本Map Reduce 程序結(jié)構(gòu)

Map 階段

Reduce 階段

Driver 階段

Hadoop 序列化

序列化的作用是將內(nèi)存中的對象轉(zhuǎn)換成字節(jié)序列便于存儲

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 人面猴
    序言：七十年代末，一起剝皮案震驚了整個濱河市，隨后出現(xiàn)的幾起案子监婶，更是在濱河造成了極大的恐慌，老刑警劉巖齿桃，帶你破解...
    沈念sama閱讀 221,548評論 6贊 515
  • 死咒
    序言：濱河連續(xù)發(fā)生了三起死亡事件惑惶，死亡現(xiàn)場離奇詭異，居然都是意外死亡短纵，警方通過查閱死者的電腦和手機带污，發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,497評論 3贊 399
  • 救了他兩次的神仙讓他今天三更去死
    文/潘曉璐 我一進店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來香到，“玉大人鱼冀，你說我怎么就攤上這事∮凭停” “怎么了千绪？”我有些...
    開封第一講書人閱讀 167,990評論 0贊 360
  • 道士緝兇錄：失蹤的賣姜人
    文/不壞的土叔 我叫張陵，是天一觀的道長梗脾。 經(jīng)常有香客問我荸型，道長，這世上最難降的妖魔是什么炸茧？ 我笑而不...
    開封第一講書人閱讀 59,618評論 1贊 296
  • ?港島之戀（遺憾婚禮）
    正文 為了忘掉前任瑞妇，我火速辦了婚禮，結(jié)果婚禮上梭冠，老公的妹妹穿的比我還像新娘辕狰。我一直安慰自己，他們只是感情好妈嘹，可當我...
    茶點故事閱讀 68,618評論 6贊 397
  • 惡毒庶女頂嫁案：這布局不是一般人想出來的
    文/花漫 我一把揭開白布柳琢。 她就那樣靜靜地躺著，像睡著了一般润脸。 火紅的嫁衣襯著肌膚如雪柬脸。 梳的紋絲不亂的頭發(fā)上，一...
    開封第一講書人閱讀 52,246評論 1贊 308
  • 城市分裂傳說
    那天毙驯，我揣著相機與錄音倒堕，去河邊找鬼。 笑死爆价，一個胖子當著我的面吹牛垦巴，可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播铭段，決...
    沈念sama閱讀 40,819評論 3贊 421
  • 雙鴛鴦連環(huán)套：你想象不到人心有多黑
    文/蒼蘭香墨 我猛地睜開眼骤宣，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了序愚？” 一聲冷哼從身側(cè)響起憔披，我...
    開封第一講書人閱讀 39,725評論 0贊 276
  • 萬榮殺人案實錄
    序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎爸吮，沒想到半個月后芬膝，有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
    沈念sama閱讀 46,268評論 1贊 320
  • ?護林員之死
    正文 獨居荒郊野嶺守林人離奇死亡形娇，尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,356評論 3贊 340
  • ?白月光啟示錄
    正文 我和宋清朗相戀三年锰霜，在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片桐早。...
    茶點故事閱讀 40,488評論 1贊 352
  • 活死人
    序言：一個原本活蹦亂跳的男人離奇死亡癣缅，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出哄酝，到底是詐尸還是另有隱情所灸，我是刑警寧澤，帶...
    沈念sama閱讀 36,181評論 5贊 350
  • ?日本核電站爆炸內(nèi)幕
    正文 年R本政府宣布炫七，位于F島的核電站爬立，受9級特大地震影響，放射性物質(zhì)發(fā)生泄漏万哪。R本人自食惡果不足惜侠驯，卻給世界環(huán)境...
    茶點故事閱讀 41,862評論 3贊 333
  • 男人毒藥：我在死后第九天來索命
    文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望奕巍。 院中可真熱鬧吟策，春花似錦、人聲如沸的止。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,331評論 0贊 24
  • 一樁弒父案，背后竟有這般陰謀
    文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至匾委，卻和暖如春拖叙，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背赂乐。 一陣腳步聲響...
    開封第一講書人閱讀 33,445評論 1贊 272
  • 情欲美人皮
    我被黑心中介騙來泰國打工薯鳍， 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留，地道東北人挨措。 一個月前我還...
    沈念sama閱讀 48,897評論 3贊 376
  • 代替公主和親
    正文 我出身青樓挖滤，卻偏偏與公主長得像，于是被迫代替她去往敵國和親浅役。 傳聞我的和親對象是個殘疾皇子斩松，可洞房花燭夜當晚...
    茶點故事閱讀 45,500評論 2贊 359

推薦閱讀更多精彩內(nèi)容