通過一個 MapReduce 程序測試 Hadoop匈织,統(tǒng)計 HDFS 中/input/data.txt 文件內(nèi)單詞出現(xiàn) 的次數(shù)盆均。
(1)在 Ubuntu 操作系統(tǒng)的~目錄下,創(chuàng)建一個文本文件 data.txt肩碟。
$ vi data.txt
在 data.txt 文件中輸入如下內(nèi)容强窖,保存并退出。
Hello World
Hello Hadoop
(2)在 HDFS 創(chuàng)建 input 文件夾削祈,命令如下翅溺。
$ hdfs dfs -mkdir /input
(3)將 data.txt 上傳到 HDFS,命令如下髓抑。
$ hdfs dfs -put data.txt /input
(4)查看是否上傳成功咙崎,命令如下
$ hdfs dfs -ls /input
(5)運行 MapReduce WordCount 例子,命令如下吨拍。
$ cd ~/hadoop/share/hadoop/mapreduce
$ hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /input/data.txt /output
(6)查看結(jié)果褪猛。
$ hdfs dfs -cat /output/part-r-00000
(7)關(guān)閉Hadoop進程
stop-all.sh