目錄
1.系統(tǒng)架構(gòu)
2.環(huán)境搭建
2.1本地環(huán)境下kafka批量導入數(shù)據(jù)
2.2 kafka-manager的安裝與配置
3.1 Spark Streaming 性能調(diào)優(yōu)(一): 解決并行度
3.2 Spark Streaming 性能調(diào)優(yōu)(二): 解決task傾斜
下載
kafka-manager是開源的, 想下載的話直接到github上clone獲取去relaease那里下載就行
- github主頁: https://github.com/yahoo/kafka-manager
- release頁面: https://github.com/yahoo/kafka-manager/releases
編譯
下載完成后我們得到的是kafka-manager的源代碼, 想運行kafka-manager還需要將其編譯
- 由于編譯時需要用到sbt下載依賴jar包, sbt默認又是用的國外源, 所以下載速度奇慢, 建議將sbt的下載源改成阿里云的私有云:
①.安裝好sbt后, 一般你電腦的主目錄/home/your_user_name/下一般都會有.sbt這個文件夾, 這個文件夾是隱藏的, 文件管理器可能看不到, 請用命令行打開.
②.在根目錄下新建文件repositories,并編輯如下內(nèi)容:
[repositories]
#local
public: http://maven.aliyun.com/nexus/content/groups/public/
typesafe:http://dl.bintray.com/typesafe/ivy-releases/ , [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
ivy-sbt-plugin:http://dl.bintray.com/sbt/sbt-plugin-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext]
sonatype-oss-releases
sonatype-oss-snapshots
保存退出
這樣sbt下載就會使用阿里云的源了
- 設置好國內(nèi)的源后,就可以動手編譯了
①.進入kafka-manager的解壓目錄,進入/bin文件夾,執(zhí)行命令:
./sbt clean dist
之后就是漫長的等待(我的編譯了5676s......)
②.編譯完成后, kafka-manager的解壓目錄下就會多了一個target文件夾, 我們的可執(zhí)行程序就在target/universal/kafka-manager-xxx.zip里面
③.解壓這個kafka-manager-xxx.zip后,進入/bin就能運行kafka-manager
運行
在運行之前,我們還需要修改下kafka-manager的配置:
進入剛剛編譯好的kafka-manager可執(zhí)行程序的根目錄下, 找到/conf/application.conf文件, 打開并修改:
kafka-manager.zkhosts="localhost:2181"
然后, 進入/bin目錄, 執(zhí)行:
./kafka-manager
即可運行, 不過要注意的是, 在開啟kafka-manager之前, 記得開啟zookeeper和kafka兩個服務
配置
①.運行:
進入kafka-manager根目錄下的/bin文件夾, 執(zhí)行命令:
./kafka-manager
即可運行kafka-manager, 默認綁定的是9000端口, 打開localhost:9000后, 如果出現(xiàn)下圖:
即表明kafka-manager啟動成功.
②.新建集群:
點擊下圖中畫紅框的按鈕:
即可彈出新建集群的界面:
具體的參數(shù)我還在研究, 以后再完善吧.
點擊最下方的save即可新建集群.
③.新建topic
同樣地, 新建topic與新建集群一樣, 點擊界面上方:
就會彈出新建topic的界面, 相關的參數(shù)我還在研究, 以后再回來完善.
