搭建HDFS偽分布式文件系統(tǒng)

1呼奢,準備材料

hadoop-2.6.0-cdh5.7.0.tar.gz
jdk-7u80-linux-x64.tar.gz
具體下載:https://download.csdn.net/download/WOMEN_123456/15617437
把這兩個材料上傳到linux系統(tǒng)中

上傳文件

2椅邓,在linux系統(tǒng)中安裝jdk惨远,并配置到系統(tǒng)環(huán)境中

1.執(zhí)行命令牢硅,把jdk安裝到家目錄下的app目錄中:
tar -zxvf jdk-7u80-linux-x64.tar.gz -C ~/app/
2.配置環(huán)境變量

1.打開/etc/profile文件進行配置,在這個文件的最后那行插入配置數(shù)據(jù)
vi /etc/profile
2.插入的數(shù)據(jù)
export JAVA_HOME=/home/zhx/app/jdk1.7.0_80
export CLASSPATH=.:$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
3.退出這個文件粟害,讓配置生效茫陆,執(zhí)行命令
source /etc/profile
4仗岖,檢驗是否配置成功,輸入以下命令看是否有jdk的信息
java -version
echo $JAVA_HOME
檢驗結果.png

3,安裝ssh览妖,并配置ssh免密登陸

sudo yum install ssh
ssh-keygen -t rsa 可以配置ssh免密登陸轧拄,一直回車就可以
ls -a 可以看到.ssh這個文件夾
cd .ssh進入這個文件夾中,可以看到兩個文件
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
ssh localhost測試是否通了讽膏,第一次需要登陸紧帕,第二次就不需要了

4,配置網(wǎng)絡

因為我用的是虛擬機桅打,所以需要配置一下網(wǎng)絡,配置成靜態(tài)的
vi /etc/sysconfig/network-scripts/ifcfg-ens33
可以先ifconfig看一下虛擬機的ip和ifcfg-xx是什么就去找什么

靜態(tài)地址.png

修改一下/etc/hostname
vi /etc/hostname
修改hostname.png

配置地址映射
vi /etc/hosts
地址映射.png

配置完網(wǎng)絡之后愈案,需要重啟一下虛擬機挺尾,讓配置生效

5,在linux系統(tǒng)中安裝hadoop站绪,解壓 hadoop-2.6.0-cdh5.7.0.tar.gz

tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C ~/app/
cd ~/app/ hadoop-2.6.0-cdh5.7.0/etc/hadoop進入hadoop目錄下的etc目錄下的hadoop目錄

vi hadoop-env.sh對這個文件進行配置,把剛剛的jdk的路徑配置進去

image.png

vi core-site.xml對這個文件進行配置

<configuration>
<property>
     <name>fs.defaultFS</name>
     <value>hdfs://192.168.190.190:8020</value>
</property>
<property>
       <name>hadoop.tmp.dir</name>這個是臨時目錄遭铺,如果不配置這個,那么每次重啟之后恢准,數(shù)據(jù)都會消失
       <value>/home/hadoop/app/tmp</value>
</property>
</configuration>

vi hdfs-site.xml對這個文件進行配置,配置副本系數(shù)

<configuration>
<property>
       <name>dfs.replication</name>
       <value>1</value>
</property>
</configuration>

vi slaves 有多少個DataNode就在這里面寫多少個魂挂,這個是DN的ip

image.png

然后把hadoop配置到系統(tǒng)環(huán)境中,這樣就可以使用hdfs命令了

vi /etc/profile

export HADOOP_HOME=/home/zhx/app/hadoop-2.6.0-cdh5.7.0
export PATH=$PATH:$HADOOP_HOME/bin

source /etc/profile 讓配置生效
echo $HADOOP_HOME看是否配置成功

最后進入到 cd /home/zhx/app/hadoop-2.6.0-cdh5.7.0/bin/這個目錄
執(zhí)行./hadoop namenode -format格式化文件系統(tǒng)馁筐,僅僅第一次執(zhí)行涂召,不需要重復執(zhí)行
然后進入到 cd /home/zhx/app/hadoop-2.6.0-cdh5.7.0/sbin/
執(zhí)行./start-dfs.sh,這里可能需要切換到root用戶,否則可能權限不夠
全部檢查完畢敏沉,如果需要關閉果正,可以執(zhí)行./stop-all.sh

檢查是否啟動成功,輸入jps盟迟,看是否出現(xiàn)如下圖所示進程

image.png

或者可以在瀏覽器中輸入http://zhx:50070/看是否會出現(xiàn)hadoop界面
image.png

image.png

可能遇到的問題秋泳,需要關閉防火墻來解決,或者需要用root用戶來操作
在瀏覽器中可以下載hdfs中的文件攒菠,如果下載失敗迫皱,如果你用的是虛擬機,需要在你本地的計算機上的hosts文件中配置虛擬機映射辖众,我的是在windows系統(tǒng)上安裝的虛擬機卓起,C:\Windows\System32\drivers\etc進入這個目錄下的hosts文件,配置192.168.190.190 zhx赵辕,然后保存退出既绩,這樣就可以通過瀏覽器下載了

檢查防火墻firewall-cmd --state
關閉防火墻systemctl stop firewalld.service
設置開機禁止啟動防火墻systemctl disable firewalld.service

最后編輯于
?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市还惠,隨后出現(xiàn)的幾起案子饲握,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 219,110評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件救欧,死亡現(xiàn)場離奇詭異衰粹,居然都是意外死亡,警方通過查閱死者的電腦和手機笆怠,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,443評論 3 395
  • 文/潘曉璐 我一進店門铝耻,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人蹬刷,你說我怎么就攤上這事瓢捉。” “怎么了办成?”我有些...
    開封第一講書人閱讀 165,474評論 0 356
  • 文/不壞的土叔 我叫張陵泡态,是天一觀的道長。 經(jīng)常有香客問我迂卢,道長某弦,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,881評論 1 295
  • 正文 為了忘掉前任而克,我火速辦了婚禮靶壮,結果婚禮上,老公的妹妹穿的比我還像新娘员萍。我一直安慰自己腾降,他們只是感情好,可當我...
    茶點故事閱讀 67,902評論 6 392
  • 文/花漫 我一把揭開白布充活。 她就那樣靜靜地躺著蜂莉,像睡著了一般。 火紅的嫁衣襯著肌膚如雪混卵。 梳的紋絲不亂的頭發(fā)上映穗,一...
    開封第一講書人閱讀 51,698評論 1 305
  • 那天,我揣著相機與錄音幕随,去河邊找鬼蚁滋。 笑死,一個胖子當著我的面吹牛赘淮,可吹牛的內(nèi)容都是我干的辕录。 我是一名探鬼主播,決...
    沈念sama閱讀 40,418評論 3 419
  • 文/蒼蘭香墨 我猛地睜開眼梢卸,長吁一口氣:“原來是場噩夢啊……” “哼走诞!你這毒婦竟也來了?” 一聲冷哼從身側響起蛤高,我...
    開封第一講書人閱讀 39,332評論 0 276
  • 序言:老撾萬榮一對情侶失蹤蚣旱,失蹤者是張志新(化名)和其女友劉穎碑幅,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體塞绿,經(jīng)...
    沈念sama閱讀 45,796評論 1 316
  • 正文 獨居荒郊野嶺守林人離奇死亡沟涨,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,968評論 3 337
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了异吻。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片裹赴。...
    茶點故事閱讀 40,110評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖诀浪,靈堂內(nèi)的尸體忽然破棺而出棋返,到底是詐尸還是另有隱情,我是刑警寧澤雷猪,帶...
    沈念sama閱讀 35,792評論 5 346
  • 正文 年R本政府宣布懊昨,位于F島的核電站,受9級特大地震影響春宣,放射性物質發(fā)生泄漏。R本人自食惡果不足惜嫉你,卻給世界環(huán)境...
    茶點故事閱讀 41,455評論 3 331
  • 文/蒙蒙 一月帝、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧幽污,春花似錦嚷辅、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,003評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至准潭,卻和暖如春趁俊,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背刑然。 一陣腳步聲響...
    開封第一講書人閱讀 33,130評論 1 272
  • 我被黑心中介騙來泰國打工寺擂, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人泼掠。 一個月前我還...
    沈念sama閱讀 48,348評論 3 373
  • 正文 我出身青樓怔软,卻偏偏與公主長得像,于是被迫代替她去往敵國和親择镇。 傳聞我的和親對象是個殘疾皇子挡逼,可洞房花燭夜當晚...
    茶點故事閱讀 45,047評論 2 355

推薦閱讀更多精彩內(nèi)容