IP屬地：廣東
-
spark 啟動過程spark1.4.1 啟動過程 今天稍微沒那么忙了为迈，趁著這個時間慰技，準備把spark的啟動過程總結(jié)一下（），分享給大家√破伲現(xiàn)在使用的spark1.4...
-
Hdfs讀寫原理介紹 首先恼蓬，它是一個文件系統(tǒng)涮阔，有一個統(tǒng)一的命名空間——目錄樹 其次猴伶，它是分布式的，由很多服務器聯(lián)合起來實現(xiàn)功能螟深； 1.hdfs文件系統(tǒng)會給客戶端...
-
spark streaming 與kafaka結(jié)合 低階 高階api的一些理解
1. createStream會使用 Receiver谐宙；而createDirectStream不會,數(shù)據(jù)會通過driver接收。 2.creat...
-
cdh部署
0界弧、注意安裝時需要給server免密ssh登陸所有機器的權(quán)限 需要用到的命令：ssh -p 端口號 用戶@ip scp -P 端口號 文件名...
-
BlockManager架構(gòu)簡介 BlockManager 是一個嵌入在 spark 中的 key-value型分布式存儲系統(tǒng)凡蜻，是為 spark 量身打造的，Block...
-
Shuffle
# 簡介 shuffle 是spark 計算核心的的部分之一垢箕，很多優(yōu)化也是基于shuffle來做划栓，所以了解它也是必要的。stage按照是否是寬依...
-
druid 架構(gòu)druid被設(shè)計成一個系統(tǒng)組合舰讹，每個系統(tǒng)都有不同的角色茅姜，一起構(gòu)成一個工作系統(tǒng)闪朱。 結(jié)構(gòu)圖
-
-
durid 概念
概念 druid是基于olap的數(shù)據(jù)庫查詢系統(tǒng)月匣。有點類似現(xiàn)在開源的kylin。下面我先簡單介紹druid的一下基本概念奋姿，一些我認為需要重點展開和...