提前準(zhǔn)備:
1肚逸、配置網(wǎng)絡(luò)(包括主機(jī)名认境、虛擬機(jī)名)。修改的文件有/etc/hosts 课竣、/etc/sysconfig/network-scripts/ifcg-eth0
2嘉赎、設(shè)置SSH免密碼登陸。
虛擬機(jī)上執(zhí)行 :# ssh? 主機(jī)ip
輸入主機(jī)密碼
# ssh-keygen -t rsa ? /*生成密鑰*/
# ssh-copy-id? 主機(jī)ip
ssh 主機(jī)ip????? /*測(cè)試虛擬機(jī)免密碼登陸主機(jī)*/
3于樟、主機(jī)安裝jdk(先下載所需要的jdk)
(1)先檢查是否安裝jdk
rpm -qa|grep jdk
(2) ? 查看jdk版本
java -version
(3)刪除所有安裝的jdk
yum -y remove jdk {jdk-openss..}
(4)解壓公条,安裝
tar -zxvf {jdk.1.7.0...*.tar.gz} -C 安裝路徑
(5)修改配置文件。/etc/profile
最后加入
(5)查看是否安裝成功
java -version
4迂曲、創(chuàng)建存放所需軟件的文件夾靶橱,如opt下創(chuàng)建softwares、data
mkdir /opt/sosftwares
mkdir /opt/data
偽分布式安裝hadoop:
requirements:-------->所有都在hadoop-1.7.1-src-->BUILDING.txt文件里
(1) 點(diǎn)擊這里下載hadoop版本/**下載到/opt/softwares目錄,我選擇hadoop-2.7.1版本关霸;另外传黄,一般官網(wǎng)提供已經(jīng)編譯好的hadoop(適合32位系統(tǒng)的),而我要的是64位的队寇,所以下載源碼自己編譯安裝**/
(2)除此以外還需要以下依賴膘掰,用yum 安裝這些依賴:
yum install autoconf automake libtool cmake ncurses-devel lzo-devel zlib-devel openssl-devel
(3)下載這些必備軟件:
下面正式安裝****
1、解壓各種 #? tar -zxvf hadoop-2.7.1-src.tar.gz -C /opt/softwares
# tar -zxvf findbugs-1.3.9.tar.gz -C /opt/softwares
#? tar -zxvf apache-maven-3.0.5-bin.tar.gz -C /opt/softwares
# tar -zxvf protobuf-2.5.0.tar.gz -C /opt/softwares
2佳遣、安裝maven识埋,findbugs
#cd? /opt/softwares/apache-maven-3.0.5
查看maven安裝路徑:# pwd
修改環(huán)境變量:#vim /etc/profile
export? MAVEN_HOME=/opt/softwares/apache-maven-3.0.5
export PATH=$MAVEN_HOME/bin
使配置生效:source /etc/profile
查看是否安裝成功: mvn -v
同理,安裝findbugs....(查看findbugs安裝成功苍日? findbugs -version)
/etc/profile環(huán)境配置
3、安裝protobuf
# cd protobuf-2.5.0
# ./configure
# make install
4窗声、編譯hadoop-src源碼
#cd hadoop-2.7.1-src
編譯#? mvn package -Pdist,native -DskipTests -Dtar
5相恃、安裝hadoop,配置文件修改環(huán)境變量 笨觅。
#cd hadoop-2.7.1
# vim /etc/hadoop/hadoop-env.sh?? 拦耐,打開(kāi)加入 export JAVA_HOME=/usr/java/latest,如下:
啟動(dòng)hadoop?? #? bin/hadoop
6、修改etc/hadoop/core-site.xml文件
# vim etc/hadoop/core-site.xml
hadoop1.x版本端口號(hào)9000;2.x版本也可以是8020
其中见剩,/data/tmp目錄是自己創(chuàng)建的杀糯,需要手動(dòng)創(chuàng)建:mkdir data;? mkdir tmp
7、修改etc/hadoop/hdfs-site.xml文件
注意:因?yàn)槭莻畏植际桨惭b苍苞,所以副本數(shù)為1固翰,如果集群安裝,副本就有3份8恰骂际!
接下來(lái),如果想本地執(zhí)行MapReduce冈欢,則按照8---10步驟歉铝;
如果想在YARN(主要資源調(diào)度)上執(zhí)行MapReduce,則按照8(1)-----10(1)步驟凑耻;
8太示、格式化hdfs
# cd hadoop-2.7.1
# bin/hadoop??? /***查看hdfs幫助文檔,學(xué)習(xí)hadoop命令操作**/
格式化 #bin/hdfs namenode -format
9香浩、啟動(dòng)HDFS,即有NameNode和DataNode
#? ?? sbin/start-dfs.sh
10类缤、查看進(jìn)程是否啟動(dòng)成功
#? jps? /******/
8(1)、配置文件 etc/hadoop/mapred-site.xml
# cd? hadoop-2.7.1
#? vim etc/hadoop/mapred-site.xml
9(1)邻吭、配置文件etc/hadoop/yarn-site.xml
10(1)呀非、# sbin/start-yarn.sh
查看資源管理監(jiān)控? http://localhost:8088/????? /**同樣,localhost替換成主機(jī)名***/
11、通過(guò)日志監(jiān)控界面查看信息
http://localhost:50070/??????????????? /***localhost是默認(rèn)值岸裙,可以設(shè)置為自己的主機(jī)名***/
安裝至此完成2堋!
wordcount數(shù)據(jù)測(cè)試:
1降允、# cd? /opt/data
# touch words
# vim words
words為input文件
2恩闻、將文件上傳到hdfs中
#? bin/hadoop fs -help
#? bin/hadoop fs -put /opt/data/words /words
已上傳成功
3、wordcount?? (首先對(duì)數(shù)據(jù)進(jìn)行分片處理剧董,然后生成Job)
# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /words /out
4幢尚、查看輸出結(jié)果
# bin/hadoop fs -ls /
# bin/hadoop fs -ls /out
# bin/hadoop fs -cat /out/part-r-00000
very nice!!終于可以了.....好想哭!翅楼!剛剛簡(jiǎn)書把我保存的筆記鏈接訪問(wèn)不到了尉剩,嚇?biāo)缹殞毩耍。?/p>