1呼奢,準備材料
hadoop-2.6.0-cdh5.7.0.tar.gz
jdk-7u80-linux-x64.tar.gz
具體下載:https://download.csdn.net/download/WOMEN_123456/15617437
把這兩個材料上傳到linux系統(tǒng)中
上傳文件
2椅邓,在linux系統(tǒng)中安裝jdk惨远,并配置到系統(tǒng)環(huán)境中
1.執(zhí)行命令牢硅,把jdk安裝到家目錄下的app目錄中:
tar -zxvf jdk-7u80-linux-x64.tar.gz -C ~/app/
2.配置環(huán)境變量1.打開/etc/profile文件進行配置,在這個文件的最后那行插入配置數(shù)據(jù) vi /etc/profile 2.插入的數(shù)據(jù) export JAVA_HOME=/home/zhx/app/jdk1.7.0_80 export CLASSPATH=.:$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin 3.退出這個文件粟害,讓配置生效茫陆,執(zhí)行命令 source /etc/profile 4仗岖,檢驗是否配置成功,輸入以下命令看是否有jdk的信息 java -version echo $JAVA_HOME
檢驗結果.png
3,安裝ssh览妖,并配置ssh免密登陸
sudo yum install ssh
ssh-keygen -t rsa
可以配置ssh免密登陸轧拄,一直回車就可以
ls -a
可以看到.ssh這個文件夾
cd .ssh
進入這個文件夾中,可以看到兩個文件
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
ssh localhost
測試是否通了讽膏,第一次需要登陸紧帕,第二次就不需要了
4,配置網(wǎng)絡
因為我用的是虛擬機桅打,所以需要配置一下網(wǎng)絡,配置成靜態(tài)的
vi /etc/sysconfig/network-scripts/ifcfg-ens33
可以先ifconfig
看一下虛擬機的ip和ifcfg-xx是什么就去找什么
靜態(tài)地址.png
修改一下/etc/hostname
vi /etc/hostname
修改hostname.png
配置地址映射
vi /etc/hosts
地址映射.png
配置完網(wǎng)絡之后愈案,需要重啟一下虛擬機挺尾,讓配置生效
5,在linux系統(tǒng)中安裝hadoop站绪,解壓 hadoop-2.6.0-cdh5.7.0.tar.gz
tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C ~/app/
cd ~/app/ hadoop-2.6.0-cdh5.7.0/etc/hadoop
進入hadoop目錄下的etc目錄下的hadoop目錄
vi hadoop-env.sh
對這個文件進行配置,把剛剛的jdk的路徑配置進去
image.png
vi core-site.xml
對這個文件進行配置<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://192.168.190.190:8020</value> </property> <property> <name>hadoop.tmp.dir</name>這個是臨時目錄遭铺,如果不配置這個,那么每次重啟之后恢准,數(shù)據(jù)都會消失 <value>/home/hadoop/app/tmp</value> </property> </configuration>
vi hdfs-site.xml
對這個文件進行配置,配置副本系數(shù)<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
vi slaves
有多少個DataNode就在這里面寫多少個魂挂,這個是DN的ip
image.png
然后把hadoop配置到系統(tǒng)環(huán)境中,這樣就可以使用hdfs命令了
vi /etc/profile
export HADOOP_HOME=/home/zhx/app/hadoop-2.6.0-cdh5.7.0 export PATH=$PATH:$HADOOP_HOME/bin
source /etc/profile
讓配置生效
echo $HADOOP_HOME
看是否配置成功
最后進入到
cd /home/zhx/app/hadoop-2.6.0-cdh5.7.0/bin/
這個目錄
執(zhí)行./hadoop namenode -format
格式化文件系統(tǒng)馁筐,僅僅第一次執(zhí)行涂召,不需要重復執(zhí)行
然后進入到cd /home/zhx/app/hadoop-2.6.0-cdh5.7.0/sbin/
執(zhí)行./start-dfs.sh
,這里可能需要切換到root用戶,否則可能權限不夠
全部檢查完畢敏沉,如果需要關閉果正,可以執(zhí)行./stop-all.sh
檢查是否啟動成功,輸入
jps
盟迟,看是否出現(xiàn)如下圖所示進程
image.png
或者可以在瀏覽器中輸入http://zhx:50070/看是否會出現(xiàn)hadoop界面
image.png
image.png
可能遇到的問題秋泳,需要關閉防火墻來解決,或者需要用root用戶來操作
在瀏覽器中可以下載hdfs中的文件攒菠,如果下載失敗迫皱,如果你用的是虛擬機,需要在你本地的計算機上的hosts文件中配置虛擬機映射辖众,我的是在windows系統(tǒng)上安裝的虛擬機卓起,C:\Windows\System32\drivers\etc進入這個目錄下的hosts文件,配置192.168.190.190 zhx赵辕,然后保存退出既绩,這樣就可以通過瀏覽器下載了
檢查防火墻
firewall-cmd --state
關閉防火墻systemctl stop firewalld.service
設置開機禁止啟動防火墻systemctl disable firewalld.service