發(fā)簡信
IP屬地：湖南
-
常用算子
http://homepage.cs.latrobe.edu.au/zhe/ZhenHeSparkRDDAPIExamples.html RDD...
-
離散流 DStream 概念
DStream是一個抽象的概念橫向分別是一個DStream否副，一個是Lines DStream，一個是 World DStream 一個表示取出的...
-
SparkSQL thrift server 搭建spark的 thrift serve r和hive的hive server2類似拜隧，有了它之后，sparksql就可以直接用jdbc去連接 是需...
-
SparkSql 內(nèi)存列存儲
不一定快趁仙，但絕對省空間
-
SparkSQL thrift server環(huán)境搭建一． 前提條件 啟動hdfs集群 start-all.sh 192.168.4.31:50070 啟動hive的metastore服務(wù) node...
-
spark-源碼 master和worker啟動
概述 Worker的啟動都是通過啟動shell腳本 Master啟動 master啟動從main函數(shù)開始,主要啟動Rpc環(huán)境：RpcEnv（Rp...
-
sparksql為什么比hive on spark 快
1洪添、sparksql 內(nèi)存列存儲 2、sparksql的字節(jié)碼生成技術(shù)雀费，合并代碼 3干奢、scala 代碼優(yōu)化，盡量減少低效容易jc的代碼盏袄，例如把 ...
-
spark-源碼-action算子觸發(fā)
基于spark1.6 創(chuàng)建完SparkContext忿峻，然后執(zhí)行Action算子 當RDD執(zhí)行Action算子時（形成一個job）薄啥，會將代碼提交到...
-
spark-源碼-sparkContext DagScheduler
基于spark1.6 在sparkContext里會創(chuàng)建 DAGScheduler，DAGScheduler 初始化了一個事件阻塞隊列（acti...