背景 眾所周知篙耗，要獲取hdfs中存儲的目錄信息懒闷，比較簡單的方式可通過訪問8020來獲取，但是此舉會增加NN的壓力告抄，同時也采集不到我們最關(guān)心的數(shù)據(jù)訪問時間這個字段撰茎。 通過解析H...
IP屬地：江蘇
-
如何穩(wěn)定解析Hdfs fsImage文件
-
HIVE常用命令之MSCK REPAIR TABLE命令簡述
工作中發(fā)現(xiàn)很多同事連基礎(chǔ)的hive命令都不知道，所以準(zhǔn)備寫一個系列把hive一些常用的命令進(jìn)行一個總結(jié)打洼。第一個講的命令是MSCK REPAIR TABLE龄糊。 MSCK REP...
-
MYSQL中TRUNCATE和DELETE的區(qū)別MYSQL中TRUNCATE和DELETE都能夠清理表中的數(shù)據(jù)，但是他們有什么區(qū)別呢募疮？我們從下面的幾點來分析： 1. 條件刪除 這個比較好理解炫惩，因為DELETE是可以帶WHE...
-
深入解析Kafka消費者——提交和偏移量KafkaConsumer(消費者)每次調(diào)用 poll()方法，它總是返回由生產(chǎn)者寫入 Kafka但還沒有被消費者讀取過的記錄阿浓， 我們因 此可以追蹤到哪些記錄是被群組里的哪個...
-
高并發(fā)架構(gòu)系列：什么是流量削峰他嚷？如何解決秒殺業(yè)務(wù)的削峰場景
流量削峰的由來 主要是還是來自于互聯(lián)網(wǎng)的業(yè)務(wù)場景，例如，馬上即將開始的春節(jié)火車票搶購筋蓖，大量的用戶需要同一時間去搶購卸耘；以及大家熟知的阿里雙11秒殺， 短時間上億的用戶涌入粘咖，瞬間...
-
Kafka 客戶端TimeoutException問題之坑
各種TimeoutException問題 會拋出org.apache.kafka.common.errors.TimeoutException:message可能為各種： B...
-
Kafka broker 調(diào)優(yōu)
這些優(yōu)化可以去官網(wǎng)看蚣抗，官網(wǎng)有說明 Kafka 的架構(gòu)這里就不多做介紹了，直接步入正題瓮下。 這里主要是 Kafka 集群基本配置的相關(guān)內(nèi)容翰铡。 硬件要求 Kafka 集群基本硬件的...
