背景 眾所周知没佑,要獲取hdfs中存儲(chǔ)的目錄信息,比較簡(jiǎn)單的方式可通過(guò)訪問(wèn)8020來(lái)獲取温赔,但是此舉會(huì)增加NN的壓力蛤奢,同時(shí)也采集不到我們最關(guān)心的數(shù)據(jù)訪問(wèn)時(shí)間這個(gè)字段。 通過(guò)解析H...
背景 眾所周知没佑,要獲取hdfs中存儲(chǔ)的目錄信息,比較簡(jiǎn)單的方式可通過(guò)訪問(wèn)8020來(lái)獲取温赔,但是此舉會(huì)增加NN的壓力蛤奢,同時(shí)也采集不到我們最關(guān)心的數(shù)據(jù)訪問(wèn)時(shí)間這個(gè)字段。 通過(guò)解析H...
工作中發(fā)現(xiàn)很多同事連基礎(chǔ)的hive命令都不知道,所以準(zhǔn)備寫一個(gè)系列把hive一些常用的命令進(jìn)行一個(gè)總結(jié)痹屹。第一個(gè)講的命令是MSCK REPAIR TABLE章郁。 MSCK REP...
MYSQL中TRUNCATE和DELETE都能夠清理表中的數(shù)據(jù),但是他們有什么區(qū)別呢志衍?我們從下面的幾點(diǎn)來(lái)分析: 1. 條件刪除 這個(gè)比較好理解暖庄,因?yàn)镈ELETE是可以帶WHE...
KafkaConsumer(消費(fèi)者)每次調(diào)用 poll()方法央星,它總是返回由生產(chǎn)者寫入 Kafka但還沒(méi)有被消費(fèi)者讀取過(guò)的記錄霞怀, 我們因 此可以追蹤到哪些記錄是被群組里的哪個(gè)...
流量削峰的由來(lái) 主要是還是來(lái)自于互聯(lián)網(wǎng)的業(yè)務(wù)場(chǎng)景劣摇,例如珠移,馬上即將開始的春節(jié)火車票搶購(gòu),大量的用戶需要同一時(shí)間去搶購(gòu)末融;以及大家熟知的阿里雙11秒殺钧惧, 短時(shí)間上億的用戶涌入勾习,瞬間...
各種TimeoutException問(wèn)題 會(huì)拋出org.apache.kafka.common.errors.TimeoutException:message可能為各種: B...