一么鹤、環(huán)境準備
新建或克隆一臺新的centos服務(wù)器虛擬機。
修改ip和hosts味廊,關(guān)閉防火墻iptables和selinux蒸甜。
新建hadoop用戶,并賦予相應(yīng)的sudoers權(quán)限余佛。
建立互信柠新,免登陸。
安裝jdk1.7辉巡,并配置環(huán)境變量恨憎。
二、開始安裝
上傳hadoop2.5.2安裝包,并解壓到相應(yīng)的目錄下憔恳。
修改hadoop環(huán)境配置文件的的環(huán)境變量hadoop-env.sh
3.修改HDFS的配置文件core-site.xml瓤荔,設(shè)置fs.defaultFS與hadoop.tmp.dir
4.修改hdfs-site.xml,配置副本數(shù)钥组,與secondnamenode地址
5.Hdfs配置完成后输硝,進行格式化
6.啟動hdfs,并使用jps查看啟動情況程梦。
7.查看namenode的web頁面点把。
8.Hdfs上傳文件,查看文件屿附。
9.YARN配置郎逃,yarn-site.xml
10.YARN啟動、webui界面
11.MapReduce配置挺份、案例WordCount測試運行褒翰、如何提交Job、查看運行結(jié)果压恒。
12.運行mapreduce的案例
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar wordcount /input/yahoo /out02
13.查看運行結(jié)果影暴,bin/hdfs dfs -text /out02/*