將hadoop2.7.1打包下載
上傳到需要安裝的服務(wù)器上,解壓(pwd顯示目錄)
Zip文件的解壓不能使用tar愤惰,要使用unzip
[root@master ~]# unziphadoop-mapreduce-wyz-projects.zip
解壓hadoop壓縮包
tar -xvf curr_hadoop.tar
解壓后就自動到了hadoops目錄下
刪除目錄下的壓縮包:rm -rf hadoop-2.7.1.tar.gz
Hadoop目錄在cd/opt/hadoops/Hadoop-2.7.1/etc/hadoop下
cat slaves查看slave集群
然后ping slave1和slave2
分別都能ping通
Hadoop2.7.1目錄下的sbin目錄中存放著各種.sh文件
[root@master sbin]# ./stop-all.sh在目錄下執(zhí)行./stop-all.sh停止所有的進程
Free –g查看內(nèi)存
接下來跑配置ssh免密碼登錄
Ifconfig命令:查看本地的網(wǎng)卡信息如下—ifconfig
Hostname查看主機名稱slave2
1苇经、在每臺服務(wù)器上都執(zhí)行ssh-keygen
-t rsa生成密鑰對:
#ssh-keygen -t rsa
2、在每臺服務(wù)器上生成密鑰對后羊苟,將公鑰復(fù)制到需要無密碼登陸的服務(wù)器上:
舉例如192.168.15.240塑陵,192.168.15.241感憾,192.168.15.242這三臺服務(wù)器需要做相互免密碼登陸蜡励,在每臺服務(wù)器生成密鑰對后,在每臺服務(wù)器上執(zhí)行ssh-copy-id命令(具體說明及用法見最后附錄)阻桅,將公鑰復(fù)制到其它兩臺服務(wù)器上(此處以192.168.15.240為例凉倚,用戶為root,其它兩臺步驟相同)
#ssh-copy-id -i? ~/.ssh/id_rsa.pubroot@192.168.15.241
#ssh-copy-id -i? ~/.ssh/id_rsa.pubroot@192.168.15.242
以上命令,可以自動將公鑰添加到名為authorized_keys的文件中嫂沉,在每臺服務(wù)器都執(zhí)行完以上步驟后就可以實現(xiàn)多臺服務(wù)器相互無密碼登陸
2稽寒、
C:\Windows\System32\drivers\etc目錄下hosts修改:添加需要的集群信息
History|more查看所有的歷史命令
當(dāng)天的所有命令:
開始配置mvn
和maven的環(huán)境變量:
Maven的配置前面也是壓縮、太欣在.10上把maven文件壓縮
[root@data-m opt]# tar -cvfapache-maven-3.2.1.tar apache-maven-3.2.1/
壓縮完畢后趟章,把壓縮包下載下來杏糙,上傳到需要安裝的服務(wù)器上,緊接著蚓土,太欣查看了.10環(huán)境變量配置情況:
[root@data-m opt]# cat/etc/profile.d/custom.sh
然后宏侍,把maven的環(huán)境變量配置情況拷貝出來,放到需要配置的服務(wù)器的/etc/profile目錄下
然后放進去就可以了
最后是執(zhí)行和運行mapreduce程序蜀漆,在eclipse中編寫好之后:壓縮=>上傳=>解壓=>配置環(huán)境變量運行(本地的文件存放在D:\git\voole-stat\stat-projects\hadoop-projects)
把數(shù)據(jù)放到該目錄下
[root@master ~]# cd /opt/soft/statproject/
[root@master statproject]# ll
文件上傳到該stat目錄下的hadoop projects目錄下谅河,開始執(zhí)行(注:必須放在指定的目錄下,由于依賴關(guān)系的限制确丢,放在哪兒里看這兒)
把整個工程上傳上去了绷耍,然后初始化sh install.sh
關(guān)于初始化:
[root@master hadoop-2.7.1]# mvn –v
查看maven的相關(guān)版本號
[root@master hadoop-2.7.1]# hadoop fs -ls /
查看hadoop下面的目錄信息
[root@master hadoop-2.7.1]# cd /opt/
[root@master opt]# ll
然后進入到soft目錄下,進入到soft目錄下的stat-projects目錄下
最后install.sh
[root@data-m ~]# cd /opt/soft/
[root@data-m soft]# cd stat-project/