背景 眾所周知绊序,要獲取hdfs中存儲(chǔ)的目錄信息放仗,比較簡(jiǎn)單的方式可通過(guò)訪問(wèn)8020來(lái)獲取,但是此舉會(huì)增加NN的壓力牧嫉,同時(shí)也采集不到我們最關(guān)心的數(shù)據(jù)訪問(wèn)時(shí)間這個(gè)字段烫映。 通過(guò)解析H...
背景 眾所周知绊序,要獲取hdfs中存儲(chǔ)的目錄信息放仗,比較簡(jiǎn)單的方式可通過(guò)訪問(wèn)8020來(lái)獲取,但是此舉會(huì)增加NN的壓力牧嫉,同時(shí)也采集不到我們最關(guān)心的數(shù)據(jù)訪問(wèn)時(shí)間這個(gè)字段烫映。 通過(guò)解析H...
工作中發(fā)現(xiàn)很多同事連基礎(chǔ)的hive命令都不知道,所以準(zhǔn)備寫(xiě)一個(gè)系列把hive一些常用的命令進(jìn)行一個(gè)總結(jié)坞靶。第一個(gè)講的命令是MSCK REPAIR TABLE憔狞。 MSCK REP...
MYSQL中TRUNCATE和DELETE都能夠清理表中的數(shù)據(jù),但是他們有什么區(qū)別呢彰阴?我們從下面的幾點(diǎn)來(lái)分析: 1. 條件刪除 這個(gè)比較好理解瘾敢,因?yàn)镈ELETE是可以帶WHE...
KafkaConsumer(消費(fèi)者)每次調(diào)用 poll()方法雏逾,它總是返回由生產(chǎn)者寫(xiě)入 Kafka但還沒(méi)有被消費(fèi)者讀取過(guò)的記錄, 我們因 此可以追蹤到哪些記錄是被群組里的哪個(gè)...
流量削峰的由來(lái) 主要是還是來(lái)自于互聯(lián)網(wǎng)的業(yè)務(wù)場(chǎng)景苦囱,例如嗅绸,馬上即將開(kāi)始的春節(jié)火車(chē)票搶購(gòu),大量的用戶需要同一時(shí)間去搶購(gòu)沿彭;以及大家熟知的阿里雙11秒殺朽砰, 短時(shí)間上億的用戶涌入,瞬間...
各種TimeoutException問(wèn)題 會(huì)拋出org.apache.kafka.common.errors.TimeoutException:message可能為各種: B...