1.hive 開窗函數(shù) udf 寫sql 調(diào)優(yōu)2.kafka 兩種模式 offset保存3.sparkstreaming 原理 調(diào)優(yōu)4.hbas...
1.提升資源利用率 1.executor數(shù)量2.cpu core數(shù)量3.executor內(nèi)存4.driver內(nèi)存 2.提高并行度 task數(shù)量是...
java.lang.ClassCastException: java.math.BigDecimal cannot be cast to sca...
這里在導(dǎo)入的時候出現(xiàn)了亂碼的問題,這個csv的文件葛碧,要先轉(zhuǎn)換為utf-8的模式。
使用kafka自身保存offset Kafka版本0.10.1.1过吻,已默認將消費的offset遷入到了Kafka一個名為__consumer_o...
1.zookeeper有兩個进泼,開始的那個zookeeper沒關(guān)閉蔗衡,不能開啟現(xiàn)在的這個2.kafka 下面的server.proporties 里...
這個地方加一個cache()方法,這里反復(fù)拉取的時候太消耗內(nèi)存
https://blog.csdn.net/chenliyu0518/article/details/84786283
1.nginx配置 讓瀏覽網(wǎng)頁的記錄寫在一個固定的文件里面乳绕。然后寫一個定時任務(wù)的腳本绞惦,讓任務(wù)定時切割那個文件,把每天的日志寫入到以日期命名相應(yīng)的...