讓科技融入生活拧额，衍生新技術(shù)而昨！
發(fā)簡信
IP屬地：廣東
-
多平臺認(rèn)證作者
-
利用maxwell 組件實時監(jiān)聽Mysql的Binlog日志旱易，并且把解析的json格式數(shù)據(jù)發(fā)送到kafka窗口供實時消費一：在linux環(huán)境下安裝部署好mysql 1 ：開啟binlog sudo vi /etc/my.cnf (Mysql的配置文件) 2： mysql的binlog格式有...
-
MySQL的binlog日志
本文轉(zhuǎn)載于： https://www.cnblogs.com/martinzhang/p/3454358.html binlog 基本認(rèn)識 MySQL的二進(jìn)制日志可以說是...
-
impala + kudu一些優(yōu)化心得
用了幾次impala + kudu做大數(shù)據(jù)實時計算場景笆檀，一路踏坑過來忌堂，這里分享踏坑經(jīng)驗 一開始需要全量導(dǎo)入kudu，這時候我們先用sqoop把關(guān)系數(shù)據(jù)庫數(shù)據(jù)導(dǎo)入臨時表酗洒，再用i...
-
兩集群數(shù)據(jù)拷貝
業(yè)務(wù)場景： 公司有兩套集群士修，A集群專門做數(shù)據(jù)存儲，B集群專門做數(shù)據(jù)清洗和數(shù)據(jù)展現(xiàn) A集群每天定時把數(shù)據(jù)同步過來B集群后樱衷，B集群負(fù)責(zé)后續(xù)清洗和供業(yè)務(wù)系統(tǒng)使用 集群背景 兩套集群...
-
flume-ng添加自定義攔截器
業(yè)務(wù)場景：收集nginx日志中個別信息進(jìn)入kafka棋嘲，為了避免kafka壓力過大，這里優(yōu)化了兩點 刷選掉不需要分析的數(shù)據(jù)進(jìn)入kafka 盡量把消息均勻分布在不同的broker...
-
kafka =>SparkStreaming=>kudu集成kerberos本文檔主要介紹在cdh集成kerberos情況下矩桂，sparkstreaming怎么消費kafka數(shù)據(jù)沸移，并存儲在kudu里面 假設(shè)kafka集成kerberos 假設(shè)kudu集...
-
生產(chǎn)beeline事故分析場景分析 生產(chǎn)環(huán)境用beeline連接hive總是偶爾卡死 hive健康檢查也總是偶爾告警 hive健康檢查失敗的同時，beeline連不上hive 場景截圖如下：beeli...
