官網(wǎng)文檔閱讀筆記 https://spark.apache.org/docs/latest/streaming-kafka-0-10-integration.htmlSpar...
發(fā)簡信
IP屬地：上海
-
SparkStreaming - SparkStreaming與Kafka0.10整合
-
SparkStreaming - SparkStreaming與Kafka0.8整合早期SparkStreaming和Kafka集成屈藐，使用Write Ahead Logs (WALs)日志來實現(xiàn)豺妓，如下圖。因為要同步保存所有收到的Kafka數(shù)據(jù)改备，寫入分布式文件...
-
Zookeeper 簡述集群leader選舉機制
Leader選舉是保證分布式數(shù)據(jù)一致性的關鍵腺逛。 當Zookeeper集群中的一臺服務器出現(xiàn)服務器初始化啟動豺憔，或者服務器運行期間無法和Leader保持連接時迅腔，需要進入Leade...
-
HiveQL 常用操作練手1. 有以下數(shù)據(jù)伦糯，利用動態(tài)分區(qū)導入到分區(qū)表中(按照年柜某、月進行多級分區(qū)) 10001 100 2019-03-0110002 200 2019-03-0210003 ...
-
HiveQL 聚合函數(shù)是否可以寫在order by后面
聚合函數(shù)是否可以寫在order by后面，為什么敛纲？ 邏輯上喂击，這樣做有可能導致order by的排序結(jié)果被打亂。例如淤翔，聚合函數(shù)group by聚合的column 和 ORDER...
-
HiveQL 統(tǒng)計影音視頻網(wǎng)站的常規(guī)指標HiveQL 的熱手練習翰绊，代碼都跑通了，附運行結(jié)果旁壮。拋磚引玉监嗜。 1 需求描述 統(tǒng)計某影音視頻網(wǎng)站的常規(guī)指標，各種TopN指標： --統(tǒng)計視頻觀看數(shù)Top10 --統(tǒng)計視頻類別...
-
Scala的Option抡谐，Some裁奇，None類型
Some，None Some和None類型是Java中所沒有的麦撵，但在 Scala 程序中卻經(jīng)常使用刽肠。 Some和None的實例（Instance）會由 Scala 集合上的一...
-
SparkStreaming - Kryo框架的關鍵功能
1.概述 Kryo是一個Java序列化框架。本文將嘗試著探索Kryo框架的關鍵功能免胃，并用示例展示出來五垮。 2. Maven依賴 可以在Maven Central上找到最新版本。...
-
斯坦福算法課（連載一）斯坦福算法課的編程題還是挺有挑戰(zhàn)的杜秸，比如Programming Assignment 4放仗，求SCC，問題的數(shù)據(jù)集接近80M撬碟，除了算法诞挨，數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)類型的選擇也要特別細致莉撇，否...