IP屬地：廣東
-
spark 啟動(dòng)過(guò)程spark1.4.1 啟動(dòng)過(guò)程 今天稍微沒(méi)那么忙了身辨，趁著這個(gè)時(shí)間丐谋，準(zhǔn)備把spark的啟動(dòng)過(guò)程總結(jié)一下（），分享給大家≌け恚現(xiàn)在使用的spark1.4...
-
Hdfs讀寫(xiě)原理介紹 首先笋鄙，它是一個(gè)文件系統(tǒng)，有一個(gè)統(tǒng)一的命名空間——目錄樹(shù) 其次怪瓶，它是分布式的萧落，由很多服務(wù)器聯(lián)合起來(lái)實(shí)現(xiàn)功能； 1.hdfs文件系統(tǒng)會(huì)給客戶端...
-
spark streaming 與kafaka結(jié)合 低階 高階api的一些理解
1. createStream會(huì)使用 Receiver洗贰；而createDirectStream不會(huì),數(shù)據(jù)會(huì)通過(guò)driver接收找岖。 2.creat...
-
cdh部署
0、注意安裝時(shí)需要給server免密ssh登陸所有機(jī)器的權(quán)限 需要用到的命令：ssh -p 端口號(hào) 用戶@ip scp -P 端口號(hào) 文件名...
-
BlockManager架構(gòu)簡(jiǎn)介 BlockManager 是一個(gè)嵌入在 spark 中的 key-value型分布式存儲(chǔ)系統(tǒng)敛滋，是為 spark 量身打造的许布，Block...
-
Shuffle
# 簡(jiǎn)介 shuffle 是spark 計(jì)算核心的的部分之一，很多優(yōu)化也是基于shuffle來(lái)做绎晃，所以了解它也是必要的蜜唾。stage按照是否是寬依...
-
druid 架構(gòu)druid被設(shè)計(jì)成一個(gè)系統(tǒng)組合杂曲，每個(gè)系統(tǒng)都有不同的角色，一起構(gòu)成一個(gè)工作系統(tǒng)袁余。 結(jié)構(gòu)圖
-
-
durid 概念
概念 druid是基于olap的數(shù)據(jù)庫(kù)查詢系統(tǒng)擎勘。有點(diǎn)類似現(xiàn)在開(kāi)源的kylin。下面我先簡(jiǎn)單介紹druid的一下基本概念颖榜，一些我認(rèn)為需要重點(diǎn)展開(kāi)和...