一個(gè)神經(jīng)質(zhì)的工程師

維度屬性層次 1.固定深度的位置層次 常用的是日期贿堰，最關(guān)鍵的是每個(gè)層次具有特定的名稱 2.具有輕微不整齊的可變深度層次 地理層次侨舆。維度表設(shè)計(jì)時(shí)可采用最復(fù)雜的上...

一個(gè)神經(jīng)質(zhì)的工程師

訂單管理-----對(duì)于歷史變化的觀察方法 事實(shí)表規(guī)范化問題 事實(shí)表規(guī)范化指担巩，如一個(gè)事實(shí)表有5個(gè)維度想鹰，7個(gè)事實(shí)，那么規(guī)范化之后變成了7行，每行5個(gè)維度和1個(gè)事實(shí)，即把7個(gè)事實(shí)分...

一個(gè)神經(jīng)質(zhì)的工程師

參考DAMA教材敌蜂，數(shù)據(jù)質(zhì)量提升的步驟包括了數(shù)據(jù)剖析（數(shù)據(jù)探查）箩兽、原因梳理及實(shí)施的3步不斷迭代循環(huán)。 數(shù)據(jù)剖析 理論上數(shù)據(jù)質(zhì)量應(yīng)該由數(shù)據(jù)使用人來評(píng)估章喉，作為大數(shù)據(jù)團(tuán)...

一個(gè)神經(jīng)質(zhì)的工程師

Hive分區(qū)表分區(qū)字段是日期是比較常見的情形汗贫，而在實(shí)際查詢時(shí)，使用分區(qū)字段作為條件查詢某分區(qū)秸脱，關(guān)聯(lián)的字段可能是某個(gè)date類型的字段芳绩，此時(shí)可能會(huì)出現(xiàn)問題 解決...

一個(gè)神經(jīng)質(zhì)的工程師

環(huán)境：Mac 單機(jī) 安裝命令 brew install kafka 自帶安裝zookeeper 配置文件目錄：/usr/local/etc/kafka 配置文件說明---se...

一個(gè)神經(jīng)質(zhì)的工程師

模塊默認(rèn)路徑 import sys,ppint pprint.pprint(sys.path) (比print展示更智能) 在展示的路徑中找到site-packages目錄，...

一個(gè)神經(jīng)質(zhì)的工程師

在python代碼開頭撞反，需要添加__metaclass__=type，表示新式類 構(gòu)造方法 用__init__實(shí)現(xiàn)搪花，例如 class foorbar: def __ini...

一個(gè)神經(jīng)質(zhì)的工程師

作業(yè)的提交 創(chuàng)建內(nèi)部的jobsubmiter實(shí)例來提交作業(yè)遏片，具體步驟 1.向資源管理器 resource manager請(qǐng)求應(yīng)用ID作為作業(yè)ID 2.檢查作業(yè)的輸出說明，如指...

一個(gè)神經(jīng)質(zhì)的工程師

python中最基本的數(shù)據(jù)結(jié)構(gòu)是序列撮竿，序列中最常用的是列表和元組吮便，此外還有字符串，buffer對(duì)象幢踏，xrange對(duì)象髓需，unicode字符串。 列表 如 ['a',42] 表示...

一個(gè)神經(jīng)質(zhì)的工程師

Yarn組件 resource manager 負(fù)責(zé)整體資源調(diào)度 node manager 一個(gè)節(jié)點(diǎn)一個(gè)房蝉，負(fù)責(zé)節(jié)點(diǎn)的資源管理和調(diào)度僚匆，定期通過心跳向resouce manage...

一個(gè)神經(jīng)質(zhì)的工程師

任務(wù)報(bào)錯(cuò) 任務(wù)卡在map 100% reduce 100%咧擂，查看日志，發(fā)現(xiàn)報(bào)錯(cuò)如下 發(fā)現(xiàn)報(bào)錯(cuò)為任務(wù)超時(shí)檀蹋，原因可能為內(nèi)存滿了或者存在超大行 查看數(shù)據(jù)松申，發(fā)現(xiàn)有content字段存...

一個(gè)神經(jīng)質(zhì)的工程師

shuffle：系統(tǒng)執(zhí)行排序，將map輸出作為輸入傳給reduce的過程稱為shuffle。mapreduce確保每個(gè)reduce的輸入都是按鍵排序的贸桶。 map端 每個(gè)map...

一個(gè)神經(jīng)質(zhì)的工程師

HDFS是Hadoop自帶的分布式文件系統(tǒng)舅逸。 特性： 1.流式訪問，大數(shù)據(jù)的分析主要涉及數(shù)據(jù)集打大部分甚至是全部皇筛，因此讀取全數(shù)據(jù)集的延遲比讀取單個(gè)記錄的延遲更重要琉历。 2.大量...

一個(gè)神經(jīng)質(zhì)的工程師

Hive 卡在map = 0%, reduce = 0%階段 解決：增加map個(gè)數(shù)，設(shè)置mapreduce.input.fileinputformat.split.maxs...

一個(gè)神經(jīng)質(zhì)的工程師

分區(qū) 分區(qū)列其實(shí)在表中并不存在设联，每個(gè)分區(qū)鍵為表的存儲(chǔ)添加了一個(gè)目錄善已，但是查詢會(huì)返回這一列，即使數(shù)據(jù)文件中沒有存儲(chǔ)這個(gè)數(shù)據(jù)离例，相當(dāng)于返回了目錄名稱换团。 切忌對(duì)表過度分區(qū)，這樣會(huì)導(dǎo)致...

一個(gè)神經(jīng)質(zhì)的工程師

一宫蛆、create table if not exists 用于防止所建的表名已存在而報(bào)錯(cuò) 二艘包、comment 字段或者表注釋 三、Serde Inputformat Outp...