【前言】最近部門因為數(shù)據(jù)安全問題需要遷移線上生產(chǎn)環(huán)境HBase集群的網(wǎng)段琢岩,在集群重啟后發(fā)生如下兩個錯誤,導致HBase集群無法正称炱耍恢復:(1)HMaster節(jié)點自動失斃嗟妗眶拉;(2...
【前言】最近部門因為數(shù)據(jù)安全問題需要遷移線上生產(chǎn)環(huán)境HBase集群的網(wǎng)段琢岩,在集群重啟后發(fā)生如下兩個錯誤,導致HBase集群無法正称炱耍恢復:(1)HMaster節(jié)點自動失斃嗟妗眶拉;(2...
【前言】對于線上生產(chǎn)環(huán)境的HDFS筐咧,開啟回收站功能是必不可少的仔掸。該功能類似于linux系統(tǒng)的回收站設(shè)計烛谊,HDFS會為每個用戶創(chuàng)建一個專屬的回收站目錄(/user/${user...
【前言】線上長時間運行的大規(guī)模Hadoop集群状勤,各個datanode節(jié)點磁盤空間使用率經(jīng)常會出現(xiàn)分布不均衡的情況鞋怀,尤其在新增和下架節(jié)點、或者人為干預副本數(shù)量的時候持搜。節(jié)點空間使...
【簡介】zookeeper是為分布式應用所設(shè)計的高可用闺金、高性能且一致的開源協(xié)調(diào)服務(wù),是大數(shù)據(jù)分布式集群的基礎(chǔ)組件峰档,為集群提供分布式鎖服務(wù)败匹。同時,用戶可以在分布式鎖的基礎(chǔ)上開發(fā)...
前言:Hadoop NameNode節(jié)點維護了整個HDFS集群所有的元數(shù)據(jù)信息,一旦NameNode發(fā)生腦裂鞭呕,或者服務(wù)不可用蛤育,整個HDFS集群都將處于不可用狀態(tài)。對于線上生產(chǎn)...
前言:在Hadoop 1.x版本葫松,HDFS集群的NameNode一直存在單點故障問題:集群只存在一個NameNode節(jié)點瓦糕,它維護了HDFS所有的元數(shù)據(jù)信息,當該節(jié)點所在服務(wù)器...
起因:部門準備將數(shù)據(jù)倉庫開發(fā)工具從Hive SQL大規(guī)模遷移至Spark SQL腋么。此前集群已經(jīng)自帶了Spark-1.5.2咕娄,系HDP-2.3.4自帶的Spark組件,現(xiàn)在需要...
【起因】22:31:04分被通知集群異常珊擂,無法正常處理調(diào)度任務(wù)圣勒;遠程登錄查看,發(fā)現(xiàn)HDFS NameNode發(fā)生腦裂摧扇; NameNode節(jié)點:name21.hadoop圣贸,na...