發(fā)簡信
IP屬地：廣東
-
wsl 安裝mysql
一般情況下,ubuntu16.04安裝mysql只需要運(yùn)行以下命令即可: 但是,當(dāng)我在wsl上的ubuntu里運(yùn)行這個命令時,卻出現(xiàn)以下問題:①...
-
3.2 Spark Streaming 性能調(diào)優(yōu)(二): 解決task傾斜
目錄1.系統(tǒng)架構(gòu)2.環(huán)境搭建2.1本地環(huán)境下kafka批量導(dǎo)入數(shù)據(jù)2.2 kafka-manager的安裝與配置3.1 Spark Stream...
-
3.1 Spark Streaming 性能調(diào)優(yōu)(一): 提高并行度目錄1.系統(tǒng)架構(gòu)2.環(huán)境搭建2.1本地環(huán)境下kafka批量導(dǎo)入數(shù)據(jù)2.2 kafka-manager的安裝與配置3.1 Spark Stream...
-
2.1 本地環(huán)境下kafka批量導(dǎo)入數(shù)據(jù)目錄1.系統(tǒng)架構(gòu)2.環(huán)境搭建2.1本地環(huán)境下kafka批量導(dǎo)入數(shù)據(jù)2.2 kafka-manager的安裝與配置3.1 Spark Stream...
-
2.2 kafka-manager的安裝與配置目錄1.系統(tǒng)架構(gòu)2.環(huán)境搭建2.1本地環(huán)境下kafka批量導(dǎo)入數(shù)據(jù)2.2 kafka-manager的安裝與配置3.1 Spark Stream...
-
項目簡介
這個項目是基于spark streaming的日志分析系統(tǒng),每分鐘提交一次job,統(tǒng)計一分鐘內(nèi)的日志信息,同時也需要統(tǒng)計15分支內(nèi)的異常ip信息...
-
簡介
前言 公司的一個大數(shù)據(jù)項目是通過使用spark每隔一分鐘統(tǒng)計一次15分鐘內(nèi)的日志信息,一般40~50s左右就可以統(tǒng)計完,但是偶爾會出現(xiàn)某幾次任務(wù)...
-
1.系統(tǒng)架構(gòu)目錄1.系統(tǒng)架構(gòu)2.環(huán)境搭建2.1本地環(huán)境下kafka批量導(dǎo)入數(shù)據(jù)2.2 kafka-manager的安裝與配置3.1 Spark Stream...
-
2.環(huán)境搭建
目錄1.系統(tǒng)架構(gòu)2.環(huán)境搭建2.1本地環(huán)境下kafka批量導(dǎo)入數(shù)據(jù)2.2 kafka-manager的安裝與配置3.1 Spark Stream...