大數(shù)據(jù)工作筆記||如何在hyper-v上擴充HDFS的存儲空間

問題描述:最近公司來了一批200G左右的數(shù)據(jù)弄砍,因為以前的測試機器都是隨便搭的隔箍,內(nèi)存不夠,所以要擴充HDFS的存儲空間

操作環(huán)境:hyper-v梅尤,centos6.7 ,內(nèi)核版本4.4.113-1.el6.elrepo.x86_64

此文檔實在偽分布式操作系統(tǒng)上操作的岩调,實際的集群擴容類似

一巷燥,新增硬盤

1.保證你的虛擬機處于關(guān)機狀態(tài)


2.右鍵->選擇“設(shè)置”


3.選擇“IDE控制器”-->“硬盤驅(qū)動器”-->“添加”


4.點擊“新建”


5.選擇“VHDX(H)”下一步


6.選擇“動態(tài)擴展”


7,根據(jù)現(xiàn)場情況選擇“名稱和位置”


8号枕,根據(jù)現(xiàn)場情況設(shè)置新增硬盤的大小-->“下一步”---->“完成”


二缰揪,對新增硬盤分區(qū),掛載

1.連接到虛擬機輸入命令 fdisk –l 找到自己新增的硬盤

2. 進入磁盤葱淳,對磁盤進行分區(qū)輸入命令fdisk +磁盤名稱

3.輸入“n”新建分區(qū)----à輸入“p”創(chuàng)建主分區(qū)-----à輸入“1”設(shè)置扇區(qū)默認從1開始----à根據(jù)現(xiàn)場情況輸入扇區(qū)的結(jié)束位置(我這里把整個硬盤做一個分區(qū)直接回車)---à輸入“w”回車钝腺,保存(如果要把整個硬盤掛載到某個目錄可以不分區(qū))

4.輸入fdisk –l 查看硬盤是否分區(qū)成功(Disk identifier:標識不為0x00000000即為分區(qū)成功)

5.格式化分區(qū)輸入命令mkfs.ext4??+分區(qū)名稱(例如要格式化/dev/sdb1的命令為:mkfs.ext4?? /dev/sdb1 )

6.掛載分區(qū)輸入命令mount+分區(qū)名稱+掛載目錄(例如要把/dev/sdb1掛載到 /mnt/cdrom目錄下的命令為:mount /dev/sdb1? /mnt/cdrom)

7檢查分區(qū)是否掛載成功,輸入df –h 如掛載成功如下圖所示


三.擴容datanode存儲目錄

1.連接到datanode所在的服務(wù)器赞厕,找到datanode的存儲目錄

(可從cloudera manager上HDFS下的datanode節(jié)點的配置中找到datanode的存儲目錄艳狐,這里的是/dfs/dn)


2.關(guān)掉集群服務(wù)

3.在新掛載磁盤的目錄中新建跳板目錄mkdir /new

4. 將新建的分區(qū)掛載到新建的目錄上mount /dev/sdb1 /new

5.將hdfs中存儲數(shù)據(jù)的目錄復(fù)制到新建的跳板中cp -R /dfs/dn/* ?/new

6.解除掛載umount /new

7. rm -rf /dfs/dn/*

? ? ? ####可選,主要為了騰出空間給原來的硬盤

8. 將新磁盤掛載到HDFS中數(shù)據(jù)的存儲目錄mount /dev/sdb1 /dfs/dn(此時你會的發(fā)現(xiàn)之前的/dfs/dn目錄文件已經(jīng)全部轉(zhuǎn)移過來了)

9. 刪除跳板目錄,rm -rf /new (等待/dfs/dn目錄數(shù)據(jù)恢復(fù)之后再刪除)

10.將目錄從新授權(quán)給HDFS角色皿桑,chown -R hdfs:hdfs /dfs/dn/ (一定要記得授權(quán)毫目,否則datanode會讀取文件失敗)

11.設(shè)置開機自動掛載(vim /etc/fstab)

在/etc/fstab文件的后面添加/dev/sdb1?????????????? /dfs/dn???????????????? ext4??? defaults??????? 0 0

12. 檢查開機掛載是否配置成功

13.重啟服務(wù)打開/etc/fstab文件

查看最后一行是否為仍是/dev/sdb1?????????????? /dfs/dn???????????????? ext4??? defaults??????? 0 0若是則說明開機自動掛載設(shè)置成功


14.分別在各個datanode節(jié)點實現(xiàn)上述操作即可完成HDFS的擴容



制作人:云成鵬(如發(fā)現(xiàn)文檔中有任何錯誤或遺漏之處請及時提醒,以便糾正修改诲侮,謝謝)

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末镀虐,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子沟绪,更是在濱河造成了極大的恐慌刮便,老刑警劉巖,帶你破解...
    沈念sama閱讀 218,546評論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件近零,死亡現(xiàn)場離奇詭異诺核,居然都是意外死亡,警方通過查閱死者的電腦和手機久信,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,224評論 3 395
  • 文/潘曉璐 我一進店門窖杀,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人裙士,你說我怎么就攤上這事入客。” “怎么了?”我有些...
    開封第一講書人閱讀 164,911評論 0 354
  • 文/不壞的土叔 我叫張陵桌硫,是天一觀的道長夭咬。 經(jīng)常有香客問我,道長铆隘,這世上最難降的妖魔是什么卓舵? 我笑而不...
    開封第一講書人閱讀 58,737評論 1 294
  • 正文 為了忘掉前任,我火速辦了婚禮膀钠,結(jié)果婚禮上掏湾,老公的妹妹穿的比我還像新娘。我一直安慰自己肿嘲,他們只是感情好融击,可當我...
    茶點故事閱讀 67,753評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著雳窟,像睡著了一般尊浪。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上封救,一...
    開封第一講書人閱讀 51,598評論 1 305
  • 那天拇涤,我揣著相機與錄音,去河邊找鬼誉结。 笑死工育,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的搓彻。 我是一名探鬼主播,決...
    沈念sama閱讀 40,338評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼嘱朽,長吁一口氣:“原來是場噩夢啊……” “哼旭贬!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起搪泳,我...
    開封第一講書人閱讀 39,249評論 0 276
  • 序言:老撾萬榮一對情侶失蹤稀轨,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后岸军,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體奋刽,經(jīng)...
    沈念sama閱讀 45,696評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,888評論 3 336
  • 正文 我和宋清朗相戀三年艰赞,在試婚紗的時候發(fā)現(xiàn)自己被綠了佣谐。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,013評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡方妖,死狀恐怖狭魂,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤雌澄,帶...
    沈念sama閱讀 35,731評論 5 346
  • 正文 年R本政府宣布斋泄,位于F島的核電站,受9級特大地震影響镐牺,放射性物質(zhì)發(fā)生泄漏炫掐。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,348評論 3 330
  • 文/蒙蒙 一睬涧、第九天 我趴在偏房一處隱蔽的房頂上張望募胃。 院中可真熱鬧,春花似錦宙地、人聲如沸摔认。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,929評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽参袱。三九已至,卻和暖如春秽梅,著一層夾襖步出監(jiān)牢的瞬間抹蚀,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,048評論 1 270
  • 我被黑心中介騙來泰國打工企垦, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留环壤,地道東北人。 一個月前我還...
    沈念sama閱讀 48,203評論 3 370
  • 正文 我出身青樓钞诡,卻偏偏與公主長得像郑现,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子荧降,可洞房花燭夜當晚...
    茶點故事閱讀 44,960評論 2 355

推薦閱讀更多精彩內(nèi)容