數倉入門基礎-2-技術棧

1.hive sql >> 五星

在大多數的工作中,主要用的語言就是sql,說難不難始苇,只要做的多了绰沥,基本就可以融會貫通瓦宜,當然也要了解 hive ,清楚常運用到的優(yōu)化方法蔚万。
推薦書籍:《hive權威指南》
技能點:
-1.常用的sql 查詢語句,select where sum group order常用sql語句,row_number()over等窗口函數使用临庇,map,struct等類型使用反璃。
-2.hive優(yōu)化,map join ,常用參數設置假夺,數據傾斜處理淮蜈,執(zhí)行計劃解析等
-3.表設置,內部表已卷、外部表梧田、臨時表使用,表存儲與文件壓縮方式侧蘸,列式存儲的好處裁眯,parquet 與orc的使用
-4.了解hive metastore元數據,分區(qū)信息表讳癌,表信息表等

2.數倉理論知識 >>五星

理論是實踐的根本未状,懂得前人的方法才能使得實踐起來的心用手。
推薦書籍:《數據倉庫工具箱-維度建模權威指南》析桥,《大數據之路-阿里巴巴大數據實踐》
技能點:
-1.星型模型與雪花模型
-2.數據分層,維度與事實
-3.inmon與Kimball模型
-4.數倉規(guī)范
-5.拉鏈表(緩慢變化維)

3. Hadoop (hdfs ,map reduce,yarn) >>五星

為了了解你的sql到底是怎么執(zhí)行泡仗,怎么存儲的埋虹,一個sql語句變成了怎樣的mr任務,怎么調整你的sql語句才會更快娩怎,這塊的知識也比較重要的搔课。
推薦書籍:《hadoop權威指南》,《hadoop技術內幕》截亦,《大數據日知錄》
技能點:
-1.熟悉mr執(zhí)行過程爬泥,split,map,partition,shuffle,reduce..特別的是shuffle過程是面試中常常問到的,最好可以寫個簡易mr程序進行調試一下崩瓤。
-2.了解hdfs 架構袍啡,namenode,datanode結構,熟練使用hdfs操作命令
-3.了解yarn 工作原理却桶,ha的實現的等

4.spark境输、storm、flink >>四星

對于現在用spark sql比較多颖系,所以spark 的工作原理也是有必要了解的嗅剖,同時在實時數據上面,spark streaming 嘁扼、storm信粮、flink是互聯(lián)網公司都在用的,目前都在向flink遷移趁啸,flink是支持sql强缘,支持窗口的,所以前景很光明莲绰,作為一個離線數倉工作者就不贅述了欺旧。

5.數據抽取 >>四星

-1.了解日志采集、埋點
-2.抽取數據工具蛤签,sqoop,datax等

6.平臺技術 >>3星

-1.調度平臺辞友,數據工作者必用的平臺,開源的有azkaban震肮、DolphinScheduler(中國人開發(fā)的)等称龙。
-2.可視化平臺,superset戳晌、redash等開源的報表展示平臺鲫尊。
-3.元數據平臺,數據表查詢沦偎,血緣關系疫向,口徑查詢咳蔚,資源使用,數據熱度搔驼,答疑社區(qū)等谈火,一般都自研。
-4.數據質量舌涨,監(jiān)控數據保證數據準確性糯耍,預測數據監(jiān)控,開源有grfflin等囊嘉。
-5.智能化數據分析平臺温技,通過勾勾選選,跑出產品運營想要的數據扭粱。


任烏拉
最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末舵鳞,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子焊刹,更是在濱河造成了極大的恐慌系任,老刑警劉巖,帶你破解...
    沈念sama閱讀 219,539評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件虐块,死亡現場離奇詭異俩滥,居然都是意外死亡,警方通過查閱死者的電腦和手機贺奠,發(fā)現死者居然都...
    沈念sama閱讀 93,594評論 3 396
  • 文/潘曉璐 我一進店門霜旧,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人儡率,你說我怎么就攤上這事挂据。” “怎么了儿普?”我有些...
    開封第一講書人閱讀 165,871評論 0 356
  • 文/不壞的土叔 我叫張陵崎逃,是天一觀的道長。 經常有香客問我眉孩,道長个绍,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,963評論 1 295
  • 正文 為了忘掉前任浪汪,我火速辦了婚禮巴柿,結果婚禮上,老公的妹妹穿的比我還像新娘死遭。我一直安慰自己广恢,他們只是感情好,可當我...
    茶點故事閱讀 67,984評論 6 393
  • 文/花漫 我一把揭開白布呀潭。 她就那樣靜靜地躺著钉迷,像睡著了一般至非。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上糠聪,一...
    開封第一講書人閱讀 51,763評論 1 307
  • 那天睡蟋,我揣著相機與錄音,去河邊找鬼枷颊。 笑死,一個胖子當著我的面吹牛该面,可吹牛的內容都是我干的夭苗。 我是一名探鬼主播,決...
    沈念sama閱讀 40,468評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼隔缀,長吁一口氣:“原來是場噩夢啊……” “哼题造!你這毒婦竟也來了?” 一聲冷哼從身側響起猾瘸,我...
    開封第一講書人閱讀 39,357評論 0 276
  • 序言:老撾萬榮一對情侶失蹤界赔,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后牵触,有當地人在樹林里發(fā)現了一具尸體淮悼,經...
    沈念sama閱讀 45,850評論 1 317
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 38,002評論 3 338
  • 正文 我和宋清朗相戀三年揽思,在試婚紗的時候發(fā)現自己被綠了袜腥。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,144評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡钉汗,死狀恐怖羹令,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情损痰,我是刑警寧澤福侈,帶...
    沈念sama閱讀 35,823評論 5 346
  • 正文 年R本政府宣布,位于F島的核電站卢未,受9級特大地震影響肪凛,放射性物質發(fā)生泄漏。R本人自食惡果不足惜尝丐,卻給世界環(huán)境...
    茶點故事閱讀 41,483評論 3 331
  • 文/蒙蒙 一显拜、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧爹袁,春花似錦远荠、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,026評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽档址。三九已至,卻和暖如春邻梆,著一層夾襖步出監(jiān)牢的瞬間守伸,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,150評論 1 272
  • 我被黑心中介騙來泰國打工浦妄, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留尼摹,地道東北人。 一個月前我還...
    沈念sama閱讀 48,415評論 3 373
  • 正文 我出身青樓剂娄,卻偏偏與公主長得像蠢涝,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子阅懦,可洞房花燭夜當晚...
    茶點故事閱讀 45,092評論 2 355

推薦閱讀更多精彩內容