背景 眾所周知仇参,要獲取hdfs中存儲的目錄信息梳凛,比較簡單的方式可通過訪問8020來獲取,但是此舉會增加NN的壓力渔彰,同時也采集不到我們最關(guān)心的數(shù)據(jù)訪問時間這個字段。 通過解析H...
背景 眾所周知仇参,要獲取hdfs中存儲的目錄信息梳凛,比較簡單的方式可通過訪問8020來獲取,但是此舉會增加NN的壓力渔彰,同時也采集不到我們最關(guān)心的數(shù)據(jù)訪問時間這個字段。 通過解析H...
工作中發(fā)現(xiàn)很多同事連基礎(chǔ)的hive命令都不知道扇苞,所以準(zhǔn)備寫一個系列把hive一些常用的命令進(jìn)行一個總結(jié)欺殿。第一個講的命令是MSCK REPAIR TABLE。 MSCK REP...
MYSQL中TRUNCATE和DELETE都能夠清理表中的數(shù)據(jù)杨拐,但是他們有什么區(qū)別呢祈餐?我們從下面的幾點(diǎn)來分析: 1. 條件刪除 這個比較好理解,因為DELETE是可以帶WHE...
KafkaConsumer(消費(fèi)者)每次調(diào)用 poll()方法阶祭,它總是返回由生產(chǎn)者寫入 Kafka但還沒有被消費(fèi)者讀取過的記錄绷杜, 我們因 此可以追蹤到哪些記錄是被群組里的哪個...
流量削峰的由來 主要是還是來自于互聯(lián)網(wǎng)的業(yè)務(wù)場景突勇,例如装盯,馬上即將開始的春節(jié)火車票搶購,大量的用戶需要同一時間去搶購甲馋;以及大家熟知的阿里雙11秒殺埂奈, 短時間上億的用戶涌入,瞬間...
各種TimeoutException問題 會拋出org.apache.kafka.common.errors.TimeoutException:message可能為各種: B...