php與hadoop

應(yīng)用場(chǎng)景:

1 計(jì)數(shù)和統(tǒng)計(jì)
2 整理
3 過(guò)濾
4 排序 

1、Hadoop安裝
2仅颇、映射器(Mapper)
映射器的任務(wù)是將輸入轉(zhuǎn)換成一系列的鍵值對(duì)。比如在字計(jì)數(shù)器的情況下碘举,輸入是一系列的行忘瓦。我們按單詞將它們分開(kāi),把它們變成鍵值對(duì)(如key:word,value:1),看起來(lái)像這樣:

the       1
water    1
on        1
on        1
water    1
on        1
...         1

3殴俱、reducer

reducer的任務(wù)是檢索(排序)對(duì),迭代并轉(zhuǎn)換為所需輸出枚抵。 在單詞計(jì)數(shù)器的例子中线欲,取單詞數(shù)(值),并將它們相加得到一個(gè)單詞(鍵)及其最終計(jì)數(shù)汽摹。如下:

water 2
the   1
on    3

4李丰、基于單詞計(jì)數(shù)器的理解:

hadoop jar /usr/hadoop/2.5.1/libexec/lib/hadoop-streaming-2.5.1.jar \
 -mapper "./mapper.php"http://將數(shù)據(jù)處理成鍵值對(duì)
  -reducer "./reducer.php"http://將鍵值對(duì)歸類
 -input "hello/mobydick.txt"http://將數(shù)據(jù)寫入文件
 -output "hello/result"http://輸出統(tǒng)計(jì)結(jié)果寫入文件
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市逼泣,隨后出現(xiàn)的幾起案子趴泌,更是在濱河造成了極大的恐慌舟舒,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,826評(píng)論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件嗜憔,死亡現(xiàn)場(chǎng)離奇詭異秃励,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)吉捶,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,968評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門夺鲜,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人呐舔,你說(shuō)我怎么就攤上這事币励。” “怎么了珊拼?”我有些...
    開(kāi)封第一講書人閱讀 164,234評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵食呻,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我澎现,道長(zhǎng)仅胞,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書人閱讀 58,562評(píng)論 1 293
  • 正文 為了忘掉前任昔头,我火速辦了婚禮饼问,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘揭斧。我一直安慰自己莱革,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,611評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布讹开。 她就那樣靜靜地躺著盅视,像睡著了一般。 火紅的嫁衣襯著肌膚如雪旦万。 梳的紋絲不亂的頭發(fā)上闹击,一...
    開(kāi)封第一講書人閱讀 51,482評(píng)論 1 302
  • 那天,我揣著相機(jī)與錄音成艘,去河邊找鬼赏半。 笑死,一個(gè)胖子當(dāng)著我的面吹牛淆两,可吹牛的內(nèi)容都是我干的断箫。 我是一名探鬼主播,決...
    沈念sama閱讀 40,271評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼秋冰,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼仲义!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書人閱讀 39,166評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤埃撵,失蹤者是張志新(化名)和其女友劉穎赵颅,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體暂刘,經(jīng)...
    沈念sama閱讀 45,608評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡饺谬,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,814評(píng)論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了鸳惯。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片商蕴。...
    茶點(diǎn)故事閱讀 39,926評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖芝发,靈堂內(nèi)的尸體忽然破棺而出绪商,到底是詐尸還是另有隱情,我是刑警寧澤辅鲸,帶...
    沈念sama閱讀 35,644評(píng)論 5 346
  • 正文 年R本政府宣布格郁,位于F島的核電站,受9級(jí)特大地震影響独悴,放射性物質(zhì)發(fā)生泄漏例书。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,249評(píng)論 3 329
  • 文/蒙蒙 一刻炒、第九天 我趴在偏房一處隱蔽的房頂上張望决采。 院中可真熱鬧,春花似錦坟奥、人聲如沸树瞭。這莊子的主人今日做“春日...
    開(kāi)封第一講書人閱讀 31,866評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)晒喷。三九已至,卻和暖如春访敌,著一層夾襖步出監(jiān)牢的瞬間凉敲,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書人閱讀 32,991評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工寺旺, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留爷抓,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,063評(píng)論 3 370
  • 正文 我出身青樓阻塑,卻偏偏與公主長(zhǎng)得像蓝撇,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子叮姑,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,871評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容

  • 目的這篇教程從用戶的角度出發(fā)唉地,全面地介紹了Hadoop Map/Reduce框架的各個(gè)方面。先決條件請(qǐng)先確認(rèn)Had...
    SeanC52111閱讀 1,725評(píng)論 0 1
  • Spring Cloud為開(kāi)發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見(jiàn)模式的工具(例如配置管理传透,服務(wù)發(fā)現(xiàn)耘沼,斷路器,智...
    卡卡羅2017閱讀 134,656評(píng)論 18 139
  • 思考問(wèn)題 MapReduce總結(jié) MapReduce MapReduce的定義MapReduce是一種編程模型朱盐, ...
    Sakura_P閱讀 942評(píng)論 0 1
  • Hadoop簡(jiǎn)介 Hadoop是谷歌以2004年發(fā)表的一篇關(guān)于MapReduce的論文作為基礎(chǔ)開(kāi)發(fā)的群嗤,就自身來(lái)講,...
    Sqlver閱讀 1,373評(píng)論 0 2
  • 文/小漂 最近幾天,我們村周圍都在討論著一件事——一輛寶馬車翻進(jìn)路邊水溝里躯肌,車?yán)飪蓚€(gè)男生都死了者春。 為什么大家都在討...
    小太陽(yáng)漂漂漂閱讀 831評(píng)論 4 5