Hadoop2.8.5偽分布運行wordcount

首先要運行hadoop

注意:我的Hadoop目錄為 /usr/hadoop

cd /usr/hadoop/sbin
./start-all.sh
jps

查看 Java 進(jìn)程如下

Jps進(jìn)程查看

注意,確實某個Java進(jìn)程很可能運行失敗撵溃,查一下自己Hadoop配的是否正確
可以參照我的Hadoop2.8.5偽分布安裝步驟

創(chuàng)建file文件夾

創(chuàng)建名稱為file的文件夾并向里面寫點東西赁温,我這里創(chuàng)建的路徑為/usr/hadoop/file

cd /usr/hadoop
mkdir file
cd file
echo "hello world, hadoop java" >> file1.txt 
echo "hello world, hadoop python" >> file2.txt
創(chuàng)建文件

在HDFS上創(chuàng)建文件夾目錄/input

創(chuàng)建完后把本地硬盤上創(chuàng)建的文件傳進(jìn)input里面:

hadoop fs -mkdir /input
hadoop fs -put /usr/hadoop/file/file*.txt /input

可以用hadoop fs -ls查看結(jié)果

HDFS上的文件

找到Hadoop自帶運行的wordcount java包

一般在Hadoop相對路徑的 ./hadoop/share/hadoop/mapreduce

Hadoop自帶例子程序

例子jar包就是這個hadoop-mapreduce-examples-2.8.5.jar

運行命令如下:(寫到/output/wordcount1中)

hadoop jar hadoop-mapreduce-examples-2.8.5.jar wordcount /input/ /output/wordcount1

看一下/output/wordcount1中有什么

hadoop fs -ls /output/wordcount1 

MR后的內(nèi)容

發(fā)現(xiàn)新建了一個_SUCCESS文件和一個part-r-00000文件

內(nèi)容存儲在part-r-00000文件中老充,查看結(jié)果命令如下:

hadoop fs -cat /output/wordcount1/part-r-00000
運行結(jié)果
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末胞谈,一起剝皮案震驚了整個濱河市薇宠,隨后出現(xiàn)的幾起案子填具,更是在濱河造成了極大的恐慌统舀,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,542評論 6 504
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件劳景,死亡現(xiàn)場離奇詭異誉简,居然都是意外死亡,警方通過查閱死者的電腦和手機盟广,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,822評論 3 394
  • 文/潘曉璐 我一進(jìn)店門闷串,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人筋量,你說我怎么就攤上這事烹吵。” “怎么了桨武?”我有些...
    開封第一講書人閱讀 163,912評論 0 354
  • 文/不壞的土叔 我叫張陵肋拔,是天一觀的道長。 經(jīng)常有香客問我呀酸,道長凉蜂,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,449評論 1 293
  • 正文 為了忘掉前任性誉,我火速辦了婚禮窿吩,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘错览。我一直安慰自己纫雁,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 67,500評論 6 392
  • 文/花漫 我一把揭開白布蝗砾。 她就那樣靜靜地躺著先较,像睡著了一般携冤。 火紅的嫁衣襯著肌膚如雪悼粮。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,370評論 1 302
  • 那天曾棕,我揣著相機與錄音扣猫,去河邊找鬼。 笑死翘地,一個胖子當(dāng)著我的面吹牛申尤,可吹牛的內(nèi)容都是我干的癌幕。 我是一名探鬼主播,決...
    沈念sama閱讀 40,193評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼昧穿,長吁一口氣:“原來是場噩夢啊……” “哼勺远!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起时鸵,我...
    開封第一講書人閱讀 39,074評論 0 276
  • 序言:老撾萬榮一對情侶失蹤胶逢,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后饰潜,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體初坠,經(jīng)...
    沈念sama閱讀 45,505評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,722評論 3 335
  • 正文 我和宋清朗相戀三年彭雾,在試婚紗的時候發(fā)現(xiàn)自己被綠了碟刺。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,841評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡薯酝,死狀恐怖半沽,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情吴菠,我是刑警寧澤抄囚,帶...
    沈念sama閱讀 35,569評論 5 345
  • 正文 年R本政府宣布,位于F島的核電站橄务,受9級特大地震影響幔托,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜蜂挪,卻給世界環(huán)境...
    茶點故事閱讀 41,168評論 3 328
  • 文/蒙蒙 一重挑、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧棠涮,春花似錦谬哀、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,783評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至驳糯,卻和暖如春篇梭,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背酝枢。 一陣腳步聲響...
    開封第一講書人閱讀 32,918評論 1 269
  • 我被黑心中介騙來泰國打工恬偷, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人帘睦。 一個月前我還...
    沈念sama閱讀 47,962評論 2 370
  • 正文 我出身青樓袍患,卻偏偏與公主長得像坦康,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子诡延,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,781評論 2 354

推薦閱讀更多精彩內(nèi)容

  • 一滞欠、系統(tǒng)參數(shù)配置優(yōu)化 1、系統(tǒng)內(nèi)核參數(shù)優(yōu)化配置 修改文件/etc/sysctl.conf肆良,添加如下配置仑撞,然后執(zhí)行s...
    張偉科閱讀 3,750評論 0 14
  • 設(shè)置固定IP地址及網(wǎng)關(guān) 設(shè)置IP 設(shè)置網(wǎng)關(guān) 設(shè)置DNS 重啟網(wǎng)卡 測試網(wǎng)絡(luò) 設(shè)置主機名對應(yīng)IP地址 添加Hadoo...
    isgiker閱讀 1,883評論 0 1
  • 一、Python簡介和環(huán)境搭建以及pip的安裝 4課時實驗課主要內(nèi)容 【Python簡介】: Python 是一個...
    _小老虎_閱讀 5,744評論 0 10
  • 首先妖滔,我們在使用前先看看HDFS是什麼隧哮?這將有助于我們是以后的運維使用和故障排除思路的獲得。 HDFS采用mast...
    W_Bousquet閱讀 4,196評論 0 2
  • 相愛相殺座舍,你中有我沮翔,我中有你 星座配不配全是命,感情好不好還是得靠自己曲秉。明明星座很配采蚀,偏偏人家不喜歡你,喝喝承二。 0...
    白格姨媽閱讀 61,531評論 9 14