發(fā)簡信
IP屬地：浙江
-
一次HBase集群崩潰的修復(fù)歷程
【前言】最近部門因為數(shù)據(jù)安全問題需要遷移線上生產(chǎn)環(huán)境HBase集群的網(wǎng)段哆档，在集群重啟后發(fā)生如下兩個錯誤统锤，導(dǎo)致HBase集群無法正常恢復(fù)：（1）H...
-
HDFS Trash功能詳解【前言】對于線上生產(chǎn)環(huán)境的HDFS侣监，開啟回收站功能是必不可少的。該功能類似于linux系統(tǒng)的回收站設(shè)計弛随，HDFS會為每個用戶創(chuàng)建一個專屬的回收站...
-
HDFS balance策略詳解
【前言】線上長時間運行的大規(guī)模Hadoop集群，各個datanode節(jié)點磁盤空間使用率經(jīng)常會出現(xiàn)分布不均衡的情況抄谐，尤其在新增和下架節(jié)點、或者人為...
-
Spark源碼編譯
前言：因為線上生產(chǎn)環(huán)境和實際業(yè)務(wù)需求的復(fù)雜性扰法，不可避免地需要修改spark源碼蛹含，重新編譯并測試完成后應(yīng)用于線上生產(chǎn)環(huán)境。本文主要介紹作者在Lin...
-
zookeeper技術(shù)內(nèi)幕【簡介】zookeeper是為分布式應(yīng)用所設(shè)計的高可用塞颁、高性能且一致的開源協(xié)調(diào)服務(wù)浦箱，是大數(shù)據(jù)分布式集群的基礎(chǔ)組件，為集群提供分布式鎖服務(wù)祠锣。同時酷窥，...
-
生產(chǎn)環(huán)境NameNode可靠性保證
前言：Hadoop NameNode節(jié)點維護了整個HDFS集群所有的元數(shù)據(jù)信息，一旦NameNode發(fā)生腦裂伴网，或者服務(wù)不可用蓬推，整個HDFS集群都...
-
NameNode HA實現(xiàn)原理前言：在Hadoop 1.x版本，HDFS集群的NameNode一直存在單點故障問題：集群只存在一個NameNode節(jié)點澡腾，它維護了HDFS所有的...
-
Spark版本升級二三事
起因：部門準(zhǔn)備將數(shù)據(jù)倉庫開發(fā)工具從Hive SQL大規(guī)模遷移至Spark SQL沸伏。此前集群已經(jīng)自帶了Spark-1.5.2，系HDP-2.3.4...
-
NameNode HA異常調(diào)查
【起因】22:31:04分被通知集群異常动分，無法正常處理調(diào)度任務(wù)毅糟；遠(yuǎn)程登錄查看，發(fā)現(xiàn)HDFS NameNode發(fā)生腦裂澜公； NameNode節(jié)點：n...