發(fā)簡(jiǎn)信
IP屬地：廣東
-
impala + kudu一些優(yōu)化心得
用了幾次impala + kudu做大數(shù)據(jù)實(shí)時(shí)計(jì)算場(chǎng)景翰铡，一路踏坑過(guò)來(lái)蔫劣，這里分享踏坑經(jīng)驗(yàn) 一開始需要全量導(dǎo)入kudu，這時(shí)候我們先用sqoop把關(guān)...
-
兩集群數(shù)據(jù)拷貝
業(yè)務(wù)場(chǎng)景： 公司有兩套集群说榆，A集群專門做數(shù)據(jù)存儲(chǔ)，B集群專門做數(shù)據(jù)清洗和數(shù)據(jù)展現(xiàn) A集群每天定時(shí)把數(shù)據(jù)同步過(guò)來(lái)B集群后拼苍，B集群負(fù)責(zé)后續(xù)清洗和供業(yè)...
-
flume-ng添加自定義攔截器
業(yè)務(wù)場(chǎng)景：收集nginx日志中個(gè)別信息進(jìn)入kafka徘郭，為了避免kafka壓力過(guò)大，這里優(yōu)化了兩點(diǎn) 刷選掉不需要分析的數(shù)據(jù)進(jìn)入kafka 盡量把消...
-
kafka =>SparkStreaming=>kudu集成kerberos本文檔主要介紹在cdh集成kerberos情況下妒蔚，sparkstreaming怎么消費(fèi)kafka數(shù)據(jù)穿挨，并存儲(chǔ)在kudu里面 假設(shè)kafka集成k...
-
生產(chǎn)beeline事故分析場(chǎng)景分析 生產(chǎn)環(huán)境用beeline連接hive總是偶爾卡死 hive健康檢查也總是偶爾告警 hive健康檢查失敗的同時(shí)，beeline連不上hi...
-
CDH報(bào)警任何CDH報(bào)紅的時(shí)候肴盏，都需要留意科盛； 磁盤報(bào)警磁盤報(bào)警.png 問(wèn)題定位 查看報(bào)紅節(jié)點(diǎn)機(jī)器的磁盤情況查看磁盤.png 發(fā)現(xiàn)問(wèn)題在/usr目錄下， ...
-
HashMap下面實(shí)現(xiàn)一個(gè)用于存儲(chǔ)鍵值對(duì)的數(shù)據(jù)格式類菜皂，它包含以下屬性 用于存放元素的key贞绵，和對(duì)應(yīng)的值value的實(shí)體 （稱為node） 用于存放元素實(shí)體的數(shù)...
-
Java連接集成Kerberos的HA HDFS在實(shí)施方案前，假設(shè)讀者已經(jīng)基本熟悉以下技術(shù) (不細(xì)說(shuō)) Java恍飘，maven hdfs榨崩，kerberos 方案實(shí)施 最后目錄大概如下目錄結(jié)構(gòu)....
-
CDH遇到的問(wèn)題CDH添加高h(yuǎn)dfs高可用后，hive常侣，impala查詢報(bào)錯(cuò) 解決辦法：1.進(jìn)入Hive服務(wù)并停止Hive的所有服務(wù)2.點(diǎn)擊 “操作” => "...