發(fā)簡(jiǎn)信
IP屬地：北京
-
精彩博客收集
1挖帘、Spark MLlib機(jī)器學(xué)習(xí)：黃美靈2利凑、Spark 應(yīng)用：祝威廉3道逗、Spark 系列：heayin1234、尚學(xué)堂 論壇5瞎暑、尚學(xué)堂 公開(kāi)課...
-
1彤敛、Catalyst源碼解讀之SqlParser本篇文章基于Spark1.6.1源碼解讀Catalyst下的SqlParser spark sql中可以分三種sql語(yǔ)句第一種DDL語(yǔ)句，DDL...
-
git 免密碼push pull在oschina上托管代碼的時(shí)候每次push都需要輸入用戶名和密碼了赌，是一件非常麻煩的事情墨榄，下面介紹兩種非常簡(jiǎn)單的方式可以省略用戶名和密碼的輸入 ...
-
IDEA閱讀kafka源碼環(huán)境搭建1.首先安裝gradle,并配置環(huán)境變量,gradle下載地址http://services.gradle.org/distributions,...
-
2 kafka的特性消息持久化和緩存Kafka高度依賴文件系統(tǒng)來(lái)存儲(chǔ)和緩存消息。一般的人都認(rèn)為“磁盤是緩慢的”揍拆，這使得人們對(duì)“持久化結(jié)構(gòu)提供具有競(jìng)爭(zhēng)性的性能”這樣的...
-
1 kafka簡(jiǎn)介簡(jiǎn)介Apache Kafka是分布式發(fā)布-訂閱消息系統(tǒng)渠概。它最初由LinkedIn公司開(kāi)發(fā)茶凳，之后成為Apache項(xiàng)目的一部分嫂拴。Kafka是一種快速...
-
Spark Streaming 中使用c3p0連接池操作mysql數(shù)據(jù)庫(kù)
在Spark Streaming的應(yīng)用程序中播揪，有時(shí)候需要將計(jì)算結(jié)果保存到數(shù)據(jù)庫(kù)中，為了高效這里使用批量插入筒狠，結(jié)合c3po連接池猪狈，說(shuō)明一下使用方法...
-
Spark Streaming源碼解析
目錄### Spark Streaming 透徹理解之一 通過(guò)案例對(duì)SparkStreaming透徹理解之 spark streaming運(yùn)行機(jī)...
-
16 Spark Streaming源碼解讀之?dāng)?shù)據(jù)清理
Spark Streaming程序的運(yùn)行，不斷的產(chǎn)生job辩恼，不斷的生成RDD雇庙、不斷的接收數(shù)據(jù)存儲(chǔ)數(shù)據(jù)，不斷的保存元數(shù)據(jù)等灶伊，如果不清理這些數(shù)據(jù)疆前，內(nèi)...