240 發(fā)簡信
IP屬地:浙江
  • 一次HBase集群崩潰的修復歷程

    【前言】最近部門因為數(shù)據(jù)安全問題需要遷移線上生產(chǎn)環(huán)境HBase集群的網(wǎng)段琢岩,在集群重啟后發(fā)生如下兩個錯誤,導致HBase集群無法正称炱耍恢復:(1)HMaster節(jié)點自動失斃嗟妗眶拉;(2...

  • 120
    HDFS Trash功能詳解

    【前言】對于線上生產(chǎn)環(huán)境的HDFS筐咧,開啟回收站功能是必不可少的仔掸。該功能類似于linux系統(tǒng)的回收站設(shè)計烛谊,HDFS會為每個用戶創(chuàng)建一個專屬的回收站目錄(/user/${user...

  • HDFS balance策略詳解

    【前言】線上長時間運行的大規(guī)模Hadoop集群状勤,各個datanode節(jié)點磁盤空間使用率經(jīng)常會出現(xiàn)分布不均衡的情況鞋怀,尤其在新增和下架節(jié)點、或者人為干預副本數(shù)量的時候持搜。節(jié)點空間使...

  • Spark源碼編譯

    前言:因為線上生產(chǎn)環(huán)境和實際業(yè)務(wù)需求的復雜性抛猫,不可避免地需要修改spark源碼,重新編譯并測試完成后應用于線上生產(chǎn)環(huán)境孩灯。本文主要介紹作者在Linux(centos 6.5)上...

  • 120
    zookeeper技術(shù)內(nèi)幕

    【簡介】zookeeper是為分布式應用所設(shè)計的高可用闺金、高性能且一致的開源協(xié)調(diào)服務(wù),是大數(shù)據(jù)分布式集群的基礎(chǔ)組件峰档,為集群提供分布式鎖服務(wù)败匹。同時,用戶可以在分布式鎖的基礎(chǔ)上開發(fā)...

  • 生產(chǎn)環(huán)境NameNode可靠性保證

    前言:Hadoop NameNode節(jié)點維護了整個HDFS集群所有的元數(shù)據(jù)信息,一旦NameNode發(fā)生腦裂鞭呕,或者服務(wù)不可用蛤育,整個HDFS集群都將處于不可用狀態(tài)。對于線上生產(chǎn)...

  • 120
    NameNode HA實現(xiàn)原理

    前言:在Hadoop 1.x版本葫松,HDFS集群的NameNode一直存在單點故障問題:集群只存在一個NameNode節(jié)點瓦糕,它維護了HDFS所有的元數(shù)據(jù)信息,當該節(jié)點所在服務(wù)器...

  • Spark版本升級二三事

    起因:部門準備將數(shù)據(jù)倉庫開發(fā)工具從Hive SQL大規(guī)模遷移至Spark SQL腋么。此前集群已經(jīng)自帶了Spark-1.5.2咕娄,系HDP-2.3.4自帶的Spark組件,現(xiàn)在需要...

  • NameNode HA異常調(diào)查

    【起因】22:31:04分被通知集群異常珊擂,無法正常處理調(diào)度任務(wù)圣勒;遠程登錄查看,發(fā)現(xiàn)HDFS NameNode發(fā)生腦裂摧扇; NameNode節(jié)點:name21.hadoop圣贸,na...

亚洲A日韩AV无卡,小受高潮白浆痉挛av免费观看,成人AV无码久久久久不卡网站,国产AV日韩精品