PigPIgAutumn - 簡(jiǎn)書(shū)

IP屬地：廣東

wsl 安裝mysql
一般情況下,ubuntu16.04安裝mysql只需要運(yùn)行以下命令即可: 但是,當(dāng)我在wsl上的ubuntu里運(yùn)行這個(gè)命令時(shí),卻出現(xiàn)以下問(wèn)題:①...

0.1 4503 1 3
3.2 Spark Streaming 性能調(diào)優(yōu)(二): 解決task傾斜
目錄1.系統(tǒng)架構(gòu)2.環(huán)境搭建2.1本地環(huán)境下kafka批量導(dǎo)入數(shù)據(jù)2.2 kafka-manager的安裝與配置3.1 Spark Stream...

0.1 3726 0 2

3.1 Spark Streaming 性能調(diào)優(yōu)(一): 提高并行度
目錄1.系統(tǒng)架構(gòu)2.環(huán)境搭建2.1本地環(huán)境下kafka批量導(dǎo)入數(shù)據(jù)2.2 kafka-manager的安裝與配置3.1 Spark Stream...

0.1 4632 4 2
2.1 本地環(huán)境下kafka批量導(dǎo)入數(shù)據(jù)
目錄1.系統(tǒng)架構(gòu)2.環(huán)境搭建2.1本地環(huán)境下kafka批量導(dǎo)入數(shù)據(jù)2.2 kafka-manager的安裝與配置3.1 Spark Stream...

9404 0 0
2.2 kafka-manager的安裝與配置
目錄1.系統(tǒng)架構(gòu)2.環(huán)境搭建2.1本地環(huán)境下kafka批量導(dǎo)入數(shù)據(jù)2.2 kafka-manager的安裝與配置3.1 Spark Stream...

0.1 7005 0 2
項(xiàng)目簡(jiǎn)介
這個(gè)項(xiàng)目是基于spark streaming的日志分析系統(tǒng),每分鐘提交一次job,統(tǒng)計(jì)一分鐘內(nèi)的日志信息,同時(shí)也需要統(tǒng)計(jì)15分支內(nèi)的異常ip信息...

354 0 0
簡(jiǎn)介
前言公司的一個(gè)大數(shù)據(jù)項(xiàng)目是通過(guò)使用spark每隔一分鐘統(tǒng)計(jì)一次15分鐘內(nèi)的日志信息,一般40~50s左右就可以統(tǒng)計(jì)完,但是偶爾會(huì)出現(xiàn)某幾次任務(wù)...

176 0 0

1.系統(tǒng)架構(gòu)
目錄1.系統(tǒng)架構(gòu)2.環(huán)境搭建2.1本地環(huán)境下kafka批量導(dǎo)入數(shù)據(jù)2.2 kafka-manager的安裝與配置3.1 Spark Stream...

476 1 0
2.環(huán)境搭建
目錄1.系統(tǒng)架構(gòu)2.環(huán)境搭建2.1本地環(huán)境下kafka批量導(dǎo)入數(shù)據(jù)2.2 kafka-manager的安裝與配置3.1 Spark Stream...

816 0 1