發(fā)簡信
IP屬地：浙江
-
一次HBase集群崩潰的修復歷程
【前言】最近部門因為數據安全問題需要遷移線上生產環(huán)境HBase集群的網段壁酬，在集群重啟后發(fā)生如下兩個錯誤，導致HBase集群無法正惩盖遥恢復：（1）H...
-
HDFS Trash功能詳解【前言】對于線上生產環(huán)境的HDFS捶码，開啟回收站功能是必不可少的羽氮。該功能類似于linux系統(tǒng)的回收站設計，HDFS會為每個用戶創(chuàng)建一個專屬的回收站...
-
HDFS balance策略詳解
【前言】線上長時間運行的大規(guī)模Hadoop集群惫恼，各個datanode節(jié)點磁盤空間使用率經常會出現分布不均衡的情況档押，尤其在新增和下架節(jié)點、或者人為...
-
Spark源碼編譯
前言：因為線上生產環(huán)境和實際業(yè)務需求的復雜性祈纯，不可避免地需要修改spark源碼令宿，重新編譯并測試完成后應用于線上生產環(huán)境。本文主要介紹作者在Lin...
-
zookeeper技術內幕【簡介】zookeeper是為分布式應用所設計的高可用腕窥、高性能且一致的開源協(xié)調服務粒没，是大數據分布式集群的基礎組件，為集群提供分布式鎖服務簇爆。同時革娄，...
-
生產環(huán)境NameNode可靠性保證
前言：Hadoop NameNode節(jié)點維護了整個HDFS集群所有的元數據信息倾贰，一旦NameNode發(fā)生腦裂，或者服務不可用拦惋，整個HDFS集群都...
-
NameNode HA實現原理前言：在Hadoop 1.x版本，HDFS集群的NameNode一直存在單點故障問題：集群只存在一個NameNode節(jié)點安寺，它維護了HDFS所有的...
-
Spark版本升級二三事
起因：部門準備將數據倉庫開發(fā)工具從Hive SQL大規(guī)模遷移至Spark SQL厕妖。此前集群已經自帶了Spark-1.5.2，系HDP-2.3.4...
-
NameNode HA異常調查
【起因】22:31:04分被通知集群異常挑庶，無法正常處理調度任務言秸；遠程登錄查看，發(fā)現HDFS NameNode發(fā)生腦裂迎捺； NameNode節(jié)點：n...