最近頻繁寫MapReduce舀射,測(cè)試代碼需要打jar包上傳到服務(wù)器上在進(jìn)行測(cè)試鄙信,每次調(diào)試的時(shí)候很是費(fèi)時(shí)費(fèi)力蹈丸,故寫下該篇文章陵吸,對(duì)初學(xué)hadoop的人來(lái)說(shuō)應(yīng)該還有用
需要的物件
1.win7系統(tǒng)
2.Hadoop2.7.3對(duì)應(yīng)的win下的工具
傳送門1鏈接:http://pan.baidu.com/s/1dEWgxv7密碼:1r9u
3.Hadoop2.7.3.tar.gz(請(qǐng)自行下載初始?jí)嚎s包玻墅,從0到1一步步都會(huì)有的:-D)
動(dòng)手干
1.解壓你下載的Hadoop2.7.3.tar.gz到某個(gè)盤符下并改名Hadoop2.7.3-win
我的是在F:\jzz\hadoop-2.7.3-win如:
2.添加hadoop的環(huán)境變量(和Java jdk相似)
1)新建HADOOP_HOME,把你剛才解壓到的路徑寫上
1)在path后加上HADOOP_HOME變量
方法:;%HADOOP_HOME%\bin
高度注意:\bin不要忘了哦
3.修改配置文件
配置文件的路徑在hadoop-2.7.3-win\etc\hadoop下
這里的配置文件如果打不開的話壮虫,下載一個(gè)超文本編輯器澳厢,這里用Notepad++
(Notepad++可以各應(yīng)用商店隨便下,這里就不傳了)
3.1修改core-site.xml配置文件
3.2修改hdfs-site.xml配置文件
3.3修改yarn-site.xml配置文件
3.4修改mapred-site.xml配置文件
4.添加hadoop.all文件
解壓傳送門1中下載的文件囚似,將hadoop.dll拷貝到
C盤Windows\system32下和%HADOOP_HOME%\sbin目錄下
5.改變%HADOOP_HOME%\bin目錄的內(nèi)容
將傳送門1中解壓出來(lái)的bin文件下的所有內(nèi)容都拷貝到%HADOOP_HOME%\bin目錄下剩拢,重復(fù)的文件選擇替換,如上圖所示
至此饶唤,Windows中的hadoop就配置完了徐伐,有沒(méi)有覺(jué)得很簡(jiǎn)單:-D
6.啟動(dòng)hadoop
Win+R鍵打開命令提示窗口,輸入cmd回車
打開黑窗口搬素,先進(jìn)到%HADOOP_HOME%所在的哪個(gè)盤符(我這里是F盤呵晨,
命令>f:
注意:大小寫均可)如下:
用cd命令進(jìn)入到%HADOOP_HOME%\bin目錄,并格式化namenode
命令>cd jzz\hadoop-2.7.3-win\bin
>hdfs namenode -format
上一步格式化成功熬尺,沒(méi)有報(bào)錯(cuò)可以啟動(dòng)hadoop了
命令>cd ..\sbin
>start-all.cmd
執(zhí)行完上步后黑窗口會(huì)自動(dòng)彈出四個(gè)窗口分別啟動(dòng)namenode,datanode,resoucemanage和nodemanage
7.測(cè)試hadoop dfs
打開瀏覽器,輸入http://localhost:8088即可看到
輸入http://localhost:50070點(diǎn)擊utilities即可看到HDFS存儲(chǔ)的文件目錄
至此谓罗,wondows中hadoop的安裝就完成了粱哼,感興趣的可以自己寫個(gè)Wordcount測(cè)試MapReduce任務(wù),用eclipse打成jar包執(zhí)行檩咱。和Linux下測(cè)試的一樣揭措。
附
1.自己寫的wordCount的MapReduce
傳送門2鏈接:http://pan.baidu.com/s/1qXZNEPY密碼:9sre
2.已經(jīng)配置好的hadoop-2.7.3-win
傳送門3鏈接:http://pan.baidu.com/s/1bpNDjOj密碼:cmo6
有什么問(wèn)題可留言胯舷,相互學(xué)習(xí)