發(fā)簡信
IP屬地：上海
-
斯坦福算法課（連載一）斯坦福算法課的編程題還是挺有挑戰(zhàn)的，比如Programming Assignment 4勘纯，求SCC挨稿，問題的數(shù)據(jù)集接近80M，除了算法，數(shù)據(jù)結構和...
-
SparkStreaming - SparkStreaming與Kafka0.10整合
官網(wǎng)文檔閱讀筆記 https://spark.apache.org/docs/latest/streaming-kafka-0-10-integ...
-
SparkStreaming - SparkStreaming與Kafka0.8整合早期SparkStreaming和Kafka集成，使用Write Ahead Logs (WALs)日志來實現(xiàn)，如下圖贰您。因為要同步保存所有收到的...
-
Zookeeper 簡述集群leader選舉機制
Leader選舉是保證分布式數(shù)據(jù)一致性的關鍵。 當Zookeeper集群中的一臺服務器出現(xiàn)服務器初始化啟動拢操，或者服務器運行期間無法和Leader...
-
HiveQL 常用操作練手1. 有以下數(shù)據(jù)锦亦，利用動態(tài)分區(qū)導入到分區(qū)表中(按照年、月進行多級分區(qū)) 10001 100 2019-03-0110002 200 20...
-
HiveQL 聚合函數(shù)是否可以寫在order by后面
聚合函數(shù)是否可以寫在order by后面庐冯，為什么孽亲？ 邏輯上，這樣做有可能導致order by的排序結果被打亂展父。例如返劲，聚合函數(shù)group by聚合...
-
HiveQL 統(tǒng)計影音視頻網(wǎng)站的常規(guī)指標HiveQL 的熱手練習，代碼都跑通了栖茉，附運行結果篮绿。拋磚引玉。 1 需求描述 統(tǒng)計某影音視頻網(wǎng)站的常規(guī)指標吕漂，各種TopN指標： --統(tǒng)計視頻觀看...
-
Scala的Option亲配，Some，None類型
Some，None Some和None類型是Java中所沒有的吼虎，但在 Scala 程序中卻經(jīng)常使用犬钢。 Some和None的實例（Instance...
-
SparkStreaming - Kryo框架的關鍵功能
1.概述 Kryo是一個Java序列化框架。本文將嘗試著探索Kryo框架的關鍵功能思灰，并用示例展示出來玷犹。 2. Maven依賴 可以在Maven ...