發(fā)簡信
IP屬地：廣東
-
線程安全的list
一個并發(fā)相關(guān)的問題。關(guān)于線程安全的list結(jié)構(gòu)点骑，網(wǎng)上只找到兩種答案：(1) Collections.synchronizedList和(2) C...
-
spark 調(diào)度優(yōu)化1.問題 在做spark-streaming的時候最近遇到個特別的問題：每個batch的任務(wù)調(diào)度執(zhí)行的時候酣难，某些excutor上調(diào)度的任務(wù)特別多...
-
filebeat常見問題
1.Too many open file handlers Filebeat保持文件處理程序打開，直到文件到達文件末尾黑滴，以便它可以近乎實時地讀取...
-
filebeat工作原理Filebeat是本地文件的日志數(shù)據(jù)采集器憨募。 作為服務(wù)器上的代理安裝，F(xiàn)ilebeat監(jiān)視日志目錄或特定日志文件袁辈，tail file菜谣，并將它們轉(zhuǎn)...
-
kafka發(fā)送消息分區(qū)選擇策略
發(fā)送kafka：(版本0.10.11) kafka 生產(chǎn)者發(fā)送消息分區(qū)選擇策略 通過跟蹤send方法，發(fā)現(xiàn)KafkaProducer是通過內(nèi)部的...
-
azkaban配置多節(jié)點集群模式部署
azkaban有2種集群模式： 1.首先需要在web-server配置多節(jié)點模式 2.配置存儲模式azkaban有2種3模式：1）.local單...
-
Spark讀寫壓縮文件
一、 壓縮文件讀取 spark 自動根據(jù)文件后綴名判斷壓縮格式尾膊，不用特別指定 二甘磨、寫文件時壓縮 spark會加載Hadoop的默認的配置，如果h...