首先要運行hadoop
注意:我的Hadoop目錄為 /usr/hadoop
cd /usr/hadoop/sbin
./start-all.sh
jps
查看 Java 進(jìn)程如下
Jps進(jìn)程查看
注意,確實某個Java進(jìn)程很可能運行失敗撵溃,查一下自己Hadoop配的是否正確
可以參照我的Hadoop2.8.5偽分布安裝步驟
創(chuàng)建file文件夾
創(chuàng)建名稱為file
的文件夾并向里面寫點東西赁温,我這里創(chuàng)建的路徑為/usr/hadoop/file
cd /usr/hadoop
mkdir file
cd file
echo "hello world, hadoop java" >> file1.txt
echo "hello world, hadoop python" >> file2.txt
創(chuàng)建文件
在HDFS上創(chuàng)建文件夾目錄/input
創(chuàng)建完后把本地硬盤上創(chuàng)建的文件傳進(jìn)input
里面:
hadoop fs -mkdir /input
hadoop fs -put /usr/hadoop/file/file*.txt /input
可以用hadoop fs -ls
查看結(jié)果
HDFS上的文件
找到Hadoop自帶運行的wordcount java包
一般在Hadoop相對路徑的 ./hadoop/share/hadoop/mapreduce
中
Hadoop自帶例子程序
例子jar包就是這個
hadoop-mapreduce-examples-2.8.5.jar
運行命令如下:(寫到/output/wordcount1中)
hadoop jar hadoop-mapreduce-examples-2.8.5.jar wordcount /input/ /output/wordcount1
看一下/output/wordcount1中有什么
hadoop fs -ls /output/wordcount1
MR后的內(nèi)容
發(fā)現(xiàn)新建了一個_SUCCESS文件和一個part-r-00000文件
內(nèi)容存儲在part-r-00000文件中老充,查看結(jié)果命令如下:
hadoop fs -cat /output/wordcount1/part-r-00000
運行結(jié)果