1.數(shù)倉(cāng)分層概述
數(shù)據(jù)倉(cāng)庫(kù)分為三層卖宠，自下而上為：
數(shù)據(jù)引入層（ODS，Operation Data Store）
數(shù)據(jù)公共層（CDM枫浙，Common Data Model）
數(shù)據(jù)應(yīng)用層（ADS泛范，Application Data Service）
- 數(shù)據(jù)引入層（ODS，Operation Data Store）：將原始數(shù)據(jù)幾乎無(wú)處理的存放在數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)诅炉，結(jié)構(gòu)上與源系統(tǒng)基本保持一致，是數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)準(zhǔn)備區(qū)屋厘。
- 數(shù)據(jù)公共層（CDM涕烧，Common Data Model，又稱通用數(shù)據(jù)模型層）汗洒，包含DIM維度表议纯、DWD和 DWS，由ODS層數(shù)據(jù)加工而成溢谤。主要完成數(shù)據(jù)加工與整合瞻凤，建立一致性的維度，構(gòu)建可復(fù)用的面向分析和統(tǒng)計(jì)的明細(xì)事實(shí)表世杀，以及匯總公共粒度的指標(biāo)阀参。這一層里又包括三層：
1.公共維度層（DIM）：全拼dimension
，基于維度建模理念思想瞻坝，建立整個(gè)企業(yè)的一致性維度结笨。降低數(shù)據(jù)計(jì)算口徑和算法不統(tǒng)一風(fēng)險(xiǎn)。公共維度層的表通常也被稱為邏輯維度表湿镀，維度和維度邏輯表通常一一對(duì)應(yīng)。
2.數(shù)倉(cāng)明細(xì)層（DWD）：全拼data warehouse detail
大體作用：ods經(jīng)過(guò)清洗伐憾，落地這一層勉痴，一般是最細(xì)粒度。
具體：以業(yè)務(wù)過(guò)程作為建模驅(qū)動(dòng)树肃，基于每個(gè)具體的業(yè)務(wù)過(guò)程特點(diǎn)蒸矛，構(gòu)建最細(xì)粒度的明細(xì)層事實(shí)表。可以結(jié)合企業(yè)的數(shù)據(jù)使用特點(diǎn)雏掠，將明細(xì)事實(shí)表的某些重要維度屬性字段做適當(dāng)冗余斩祭，也即寬表化處理。明細(xì)粒度事實(shí)層的表通常也被稱為邏輯事實(shí)表乡话。
3.數(shù)據(jù)匯總層（DWS）：全拼data warehouse service
大體作用：對(duì)dwd的輕微聚合摧玫，對(duì)一些可累加的指標(biāo)進(jìn)行聚合，增加復(fù)用性
具體：以分析的主題對(duì)象作為建模驅(qū)動(dòng)绑青，基于上層的應(yīng)用和產(chǎn)品的指標(biāo)需求诬像，構(gòu)建公共粒度的匯總指標(biāo)事實(shí)表，以寬表化手段物理化模型闸婴。構(gòu)建命名規(guī)范坏挠、口徑一致的統(tǒng)計(jì)指標(biāo)，為上層提供公共指標(biāo)邪乍，建立匯總寬表降狠、明細(xì)事實(shí)表。公共匯總粒度事實(shí)層的表通常也被稱為匯總邏輯表庇楞，用于存放派生指標(biāo)數(shù)據(jù)榜配。 - 數(shù)據(jù)應(yīng)用層（ADS，Application Data Service）：存放數(shù)據(jù)產(chǎn)品個(gè)性化的統(tǒng)計(jì)指標(biāo)數(shù)據(jù)姐刁。根據(jù)CDM與ODS層加工生成
2.數(shù)倉(cāng)開(kāi)發(fā)規(guī)范
2.1 數(shù)據(jù)庫(kù)命名
命名規(guī)則：數(shù)倉(cāng)對(duì)應(yīng)分層_{業(yè)務(wù)線|業(yè)務(wù)項(xiàng)目}
命名示例：ods_nshop/dwd_nshop/dws_nshop/dim_nshop/ads_nshop/
2.2 數(shù)倉(cāng)各層對(duì)應(yīng)數(shù)據(jù)庫(kù)
ods/sda層 -> sda/ods_{業(yè)務(wù)線|業(yè)務(wù)項(xiàng)目}（原始數(shù)據(jù)）
dw層 -> dwd_{業(yè)務(wù)線|業(yè)務(wù)項(xiàng)目} （主題） + dws_{業(yè)務(wù)線|業(yè)務(wù)項(xiàng)目}(基于主題寬表匯總）
dim層 -> dim_維度 （維表庫(kù)）
ads層 -> ads_{業(yè)務(wù)線|業(yè)務(wù)項(xiàng)目} (應(yīng)用統(tǒng)計(jì)指標(biāo)等)
middle層 -> mid_{業(yè)務(wù)線|業(yè)務(wù)項(xiàng)目}（中間庫(kù)） 臨時(shí)數(shù)據(jù) -> temp_{業(yè)務(wù)線|業(yè)務(wù)項(xiàng)目}（臨時(shí)庫(kù)）
2.3 數(shù)據(jù)庫(kù)表命名規(guī)則
- 原始數(shù)據(jù)層
命名規(guī)則：
ods_{業(yè)務(wù)線|業(yè)務(wù)項(xiàng)目}_{數(shù)據(jù)來(lái)源類型}_{業(yè)務(wù)}
ods_{業(yè)務(wù)線|業(yè)務(wù)項(xiàng)目}_{數(shù)據(jù)來(lái)源類型}_{業(yè)務(wù)}_{時(shí)間粒度}_delta
delta代表增量芥牌，主要用于數(shù)據(jù)同步方向產(chǎn)生的原始數(shù)據(jù)表
命名示例：
ods_nshop_01_useractlog XX用戶日志原始數(shù)據(jù)表
ods_nshop_02_user XX用戶表(全量)
ods_nshop_02_user_delta XX用戶表(增量)
ods_nshop_02_user_hh_delta XX用戶表(小時(shí)級(jí)增量 dd天) - 主題/事實(shí)數(shù)據(jù)層
命名規(guī)則：
dwd_{業(yè)務(wù)線|業(yè)務(wù)項(xiàng)目}_{主題域}_{子業(yè)務(wù)}
命名示例：
dwd_nshop_user_logproview XX用戶產(chǎn)品瀏覽日志事實(shí)表
dwd_nshop_user_comment XX用戶關(guān)注事實(shí)表 - 主題/事實(shí)匯總層
命名規(guī)則：
dws_{業(yè)務(wù)線|業(yè)務(wù)項(xiàng)目}_{主題域}_{匯總相關(guān)粒度}_{匯總時(shí)間周期}
命名示例：
dws_nshop_user_order_nd XX用戶訂單匯總N天統(tǒng)計(jì)表
dws_nshop_user_cmtpro_nd XX用戶產(chǎn)品關(guān)注匯總N天統(tǒng)計(jì)表 - 維表層
命名規(guī)則：
dim_{業(yè)務(wù)線|業(yè)務(wù)項(xiàng)目|pub公共}_{維度}
命名示例：
dim_pub_date 時(shí)間維表
dim_pub_area 地區(qū)維表
dim_pub_category 商品分類 - 集市層
命名規(guī)則：ads_{業(yè)務(wù)線|業(yè)務(wù)項(xiàng)目}_{統(tǒng)計(jì)業(yè)務(wù)}_{報(bào)表form|熱門排序topN}
命名示例：
ads_nshop_order_form 訂單統(tǒng)計(jì)表 ads_nshop_orderpay_form 訂單支付統(tǒng)計(jì) - 數(shù)據(jù)來(lái)源說(shuō)明
01 -> hdfs數(shù)據(jù) ods_nshop.ods_01_action_log 行為日志表
02 -> mysql數(shù)據(jù) ods_nshop.ods_02_user 用戶表
03 -> redis數(shù)據(jù)
04 -> mongodb數(shù)據(jù)
05 -> tidb數(shù)據(jù)
3.數(shù)據(jù)來(lái)源介紹
3.1 業(yè)務(wù)數(shù)據(jù)
業(yè)務(wù)數(shù)據(jù)往往產(chǎn)生于事務(wù)型過(guò)程處理，所以一般存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)中聂使，如mysql壁拉、oracle
業(yè)務(wù)數(shù)據(jù)源： 用戶基本信息、商品分類信息柏靶、商品信息弃理、店鋪信息、訂單數(shù)據(jù)屎蜓、訂單支付信息痘昌、活動(dòng)信息、物流信息等
3.2 埋點(diǎn)日志
埋點(diǎn)日志相對(duì)業(yè)務(wù)數(shù)據(jù)是用于數(shù)據(jù)分析炬转、挖掘需求辆苔，一般以日志形式存儲(chǔ)于日志文件中，隨后通過(guò)采集落地 分布式存儲(chǔ)介質(zhì)中如hdfs扼劈、hbase
用戶行為日志： 用戶瀏覽驻啤、用戶點(diǎn)評(píng)、用戶關(guān)注荐吵、用戶搜索骑冗、用戶投訴赊瞬、用戶咨詢
3.3 外部數(shù)據(jù)
當(dāng)前一般公司都會(huì)通過(guò)線上廣告來(lái)進(jìn)行獲客，與三方公司合作更多的提取相關(guān)數(shù)據(jù)來(lái)進(jìn)行深度刻畫用戶及用 戶群體贼涩，另外爬取公共公開(kāi)數(shù)據(jù)也是分析運(yùn)營(yíng)的常用方式巧涧。
外部數(shù)據(jù)源： 廣告投放數(shù)據(jù)、爬蟲(chóng)數(shù)據(jù)遥倦、三方接口數(shù)據(jù)
4.數(shù)倉(cāng)建設(shè)
4.1 ODS貼源層
1.ODS層存放您從業(yè)務(wù)系統(tǒng)獲取的最原始的數(shù)據(jù)谤绳，是其他上層數(shù)據(jù)的源數(shù)據(jù)。
2.ODS層數(shù)據(jù)主要包括：用戶基本信息谊迄、商品分類信息闷供、商品信息、店鋪信息统诺、 訂單數(shù)據(jù)歪脏、訂單支付信息、活動(dòng)信息粮呢、行為日志信息
- MySQL業(yè)務(wù)數(shù)據(jù)對(duì)應(yīng)Hive表
| 中文含義 | MYSQL表名 | HIVE表名 |
|---|---|---|
| 用戶基本信息表 | nshop.customer | ods_nshop.ods_nshop_02_customer |
| 用戶關(guān)注表 | nshop.customer_attention | ods_nshop.ods_nshop_02_customer_attention |
| 收貨地址管理表 | nshop.customer_consignee | ods_nshop.ods_nshop_02_customer_consignee |
| 訂單表 | nshop.orders | ods_nshop.ods_nshop_02_orders |
| 訂單詳情表 | nshop.order_detail | ods_nshop.ods_nshop_02_order_detail |
| 訂單支付記錄表 | nshop.orders_pay_records | ods_nshop.ods_nshop_02_orders_pay_records |
- 埋點(diǎn)日志對(duì)應(yīng)Hive表
| 中文含義 | HIVE表名 |
|---|---|
| 用戶行為日志表 | ods_nshop.ods_nshop_01_useractlog |
電商平臺(tái)在網(wǎng)頁(yè)版或APP版終端上進(jìn)行業(yè)務(wù)埋點(diǎn)婿失，采集相關(guān)用戶行為數(shù)據(jù)發(fā)送給服務(wù)器進(jìn)行用戶行為分析。
- 外部數(shù)據(jù)對(duì)應(yīng)Hive表
| 中文含義 | HIVE表名 |
|---|---|
| 廣告投放信息表 | ods_nshop.ods_nshop_01_releasedatas |
外部數(shù)據(jù)來(lái)源主要有：
1 企業(yè)間的接口調(diào)用（如其他企業(yè)平臺(tái)上的廣告投放營(yíng)銷）
2 公共數(shù)據(jù)的爬蟲(chóng)數(shù)據(jù)（公共數(shù)據(jù)啄寡、友商數(shù)據(jù)豪硅、社區(qū)|社交平臺(tái)公開(kāi)數(shù)據(jù)）
4.2 DW主題層
主題劃分
在不同的業(yè)務(wù)中，數(shù)倉(cāng)建設(shè)都會(huì)涉及到幾種類型的數(shù)據(jù)：通用行為數(shù)據(jù)挺物、業(yè)務(wù)強(qiáng)相關(guān)的數(shù)據(jù)懒浮、通用行為衍生出的行為數(shù)據(jù)以及其它不易劃分的數(shù)據(jù)：
1 通用行為數(shù)據(jù)主題： 即各業(yè)務(wù)場(chǎng)景都容易出現(xiàn)行為，比如用戶行為日志中的曝光识藤、點(diǎn)擊和下載等砚著。
2 業(yè)務(wù)行為數(shù)據(jù)主題： 主要是指和業(yè)務(wù)強(qiáng)相關(guān)的行為，比如說(shuō)電商下單業(yè)務(wù)痴昧，視頻業(yè)務(wù)中有播放行為稽穆。
3 衍生行為數(shù)據(jù)主題： 主要是指非用戶原始的行為，比如說(shuō)留存赶撰，本身是由用戶活躍來(lái)描述的舌镶。
4 其它行為數(shù)據(jù)主題： 有一些多主題交叉的數(shù)據(jù)，比如跨業(yè)務(wù)和行為的閱讀帶來(lái)的購(gòu)買行為數(shù)據(jù)主題
電商項(xiàng)目中所涉及的主題包括：
【用戶主題】-> 衍生行為數(shù)據(jù)主題(更多的)
【交易主題】-> 業(yè)務(wù)行為數(shù)據(jù)主題
【營(yíng)銷活動(dòng)主題】-> 業(yè)務(wù)行為數(shù)據(jù)主題
【事件(行為日志)主題】-> 通用行為數(shù)據(jù)主題主題概述
描述：DW層分為DWD和DWS層豪娜，是數(shù)據(jù)倉(cāng)庫(kù)維度建模的核心餐胀，需緊繞業(yè) 務(wù)過(guò)程來(lái)設(shè)計(jì)。
示例： 用戶產(chǎn)品瀏覽主題
CREATE external TABLE
IF NOT EXISTS dwd_nshop.dwd_nshop_actlog_product_view (
user_id string COMMENT '用戶id',
os string COMMENT '手機(jī)系統(tǒng)',
os_version string COMMENT '手機(jī)系統(tǒng)版本',
manufacturer string COMMENT '手機(jī)制造商',
carrier string COMMENT '電信運(yùn)營(yíng)商',
network_type string COMMENT '網(wǎng)絡(luò)類型',
area_code string COMMENT '地區(qū)編碼',
target_id string COMMENT '產(chǎn)品ID',
ct BIGINT COMMENT '產(chǎn)生時(shí)間'
)
1 數(shù)據(jù)依賴： ODS層的用戶行為日志(ods_nshop.ods_nshop_01_useractlog)
2 哪些維度（包括關(guān)聯(lián)其他主題維度）瘤载、度量骂澄？
維度：
1 以用戶相關(guān)的維度【user_id、os惕虑、os_version坟冲、manufacturer等等】
2 關(guān)聯(lián)相關(guān)主題維度【target_id】
3 度量值 聚合操作(sum,count等等)
DWD明細(xì)層
1.DWD概述
明細(xì)粒度事實(shí)層以業(yè)務(wù)過(guò)程作為建模驅(qū)動(dòng)，基于每個(gè)具體的業(yè)務(wù)過(guò)程特點(diǎn)溃蔫，構(gòu)建最細(xì)粒度的明細(xì)層事實(shí)表健提。可以結(jié)合企業(yè)的數(shù)據(jù)使用特點(diǎn)伟叛，將明細(xì)事實(shí)表的某些重要維度屬性字段做適當(dāng)冗余私痹，即寬表化處理. 明細(xì)粒度事實(shí)層（DWD）通常分為三種：事務(wù)事實(shí)表、周期快照事實(shí)表和累積快照事實(shí)表统刮。
2 DWD中的信息有什么紊遵？
事實(shí)表中一條記錄所表達(dá)的業(yè)務(wù)細(xì)節(jié)程度被稱為粒度。通常粒度可以通過(guò)兩種方式來(lái)表述：一種是維度屬性 組合所表示的細(xì)節(jié)程度侥蒙，一種是所表示的具體業(yè)務(wù)含義暗膜。
作為度量業(yè)務(wù)過(guò)程的事實(shí)，通常為整型或浮點(diǎn)型的十進(jìn)制數(shù)值鞭衩，有可加性学搜、半可加性和不可加性三種類型：
(1) 可加性事實(shí)是指可以按照與事實(shí)表關(guān)聯(lián)的任意維度進(jìn)行匯總。
示例：交易訂單記錄表中的【用戶ID】可以進(jìn)行count|distinct count匯總
(2) 半可加性事實(shí)只能按照特定維度匯總论衍，不能對(duì)所有維度匯總瑞佩。
示例：庫(kù)存可以按照地點(diǎn)和商品進(jìn)行匯總，而按時(shí) 間維度把一年中每個(gè)月的庫(kù)存累加則毫無(wú)意義坯台。 交易訂單記錄表中的【時(shí)間維度炬丸、地區(qū)維度】按照這類“自然屬性”的維度進(jìn)行統(tǒng)計(jì)，在主題層沒(méi)有實(shí)際意 義蜒蕾，而偏統(tǒng)計(jì)報(bào)表類計(jì)算更多在DM層進(jìn)行匯總稠炬，或者在DWS層往往是以某個(gè)主題數(shù)據(jù)做核心，與其產(chǎn)生關(guān)系 的其他主題數(shù)據(jù)作為度量值來(lái)進(jìn)行統(tǒng)計(jì)匯總的滥搭。
(3) 完全不可加性酸纲。
示例：轉(zhuǎn)化率、比率型等事實(shí)瑟匆。事務(wù)事實(shí)表
事務(wù)事實(shí)表用來(lái)描述業(yè)務(wù)過(guò)程闽坡，跟蹤空間或時(shí)間上某點(diǎn)的度量事件，保存的是最原子的數(shù)據(jù)愁溜，也稱為原子事 實(shí)表疾嗅。
示例：交易訂單記錄表、廣告投放數(shù)據(jù)表冕象，這類數(shù)據(jù)本身是一個(gè)業(yè)務(wù)過(guò)程代承。周期快照事實(shí)表
周期快照事實(shí)表中的每行匯總了發(fā)生在某一標(biāo)準(zhǔn)周期， 如一天渐扮、 一周或一月的多個(gè)度量论悴。 其粒度是周期 性的時(shí)間段掖棉， 而不是單個(gè)事務(wù)。周期快照事實(shí)表通常包含許多數(shù)據(jù)的總計(jì)膀估， 因?yàn)槿魏闻c事實(shí)表時(shí)間范圍一 致的記錄都會(huì)被包含在內(nèi)幔亥。
示例：
一個(gè)月|一周的銷售訂單周期快照， 用于按產(chǎn)品統(tǒng)計(jì)每個(gè)月總的銷售訂單金額和產(chǎn)品銷售數(shù)量累積快照事實(shí)表
累積快照事實(shí)表用來(lái)表述過(guò)程開(kāi)始和結(jié)束之間的關(guān)鍵步驟事件察纯，覆蓋過(guò)程的整個(gè)生命周期帕棉，通常具有多個(gè)日 期字段來(lái)記錄關(guān)鍵時(shí)間點(diǎn)。當(dāng)累積快照事實(shí)表隨著生命周期不斷變化時(shí)饼记，記錄也會(huì)隨著過(guò)程的變化而被修 改香伴。
具體實(shí)現(xiàn)方式：拉鏈表DWS匯總層
DWS是基于DWD數(shù)據(jù)，以其中的主題信息為維度具则，以其他主題數(shù)據(jù)為統(tǒng)計(jì)度量的數(shù)據(jù)集合表
示例：
主題為【交易主題】下的訂單記錄
粒度1：【order_id, order_status,payment_money, order_ctime】是訂單業(yè)務(wù)相關(guān)的維度信息
粒度2：【customer_id】用戶主題相關(guān)即纲，另外與支付主題相關(guān)
用戶主題的用戶啟動(dòng)日志表【DWD】建表示例：
CREATE external TABLE
IF NOT EXISTS dwd_nshop.dwd_nshop_actlog_launch (
user_id string COMMENT '用戶id',
device_num string COMMENT '設(shè)備號(hào)',
device_type string COMMENT '設(shè)備類型',
os string COMMENT '手機(jī)系統(tǒng)',
os_version string COMMENT '手機(jī)系統(tǒng)版本',
manufacturer string COMMENT '手機(jī)制造商',
carrier string COMMENT '電信運(yùn)營(yíng)商',
network_type string COMMENT '網(wǎng)絡(luò)類型',
area_code string COMMENT '地區(qū)編碼',
launch_time_segment string COMMENT '啟動(dòng)時(shí)間段',
ct BIGINT COMMENT '產(chǎn)生時(shí)間'
) partitioned BY (bdp_day string) stored AS parquet location '/data/nshop/dw/user/dwd_nshop_actlog_launch/'
交易主題域的交易訂單明細(xì)流水表【DWD】示例：
CREATE external TABLE
IF NOT EXISTS dwd_nshop.dwd_nshop_orders_details (
order_id string COMMENT '訂單ID',
order_status INT COMMENT '訂單狀態(tài)：5已收貨(完成)|6投訴 7退貨',
supplier_code VARCHAR (20) NOT NULL COMMENT '店鋪ID',
product_code VARCHAR (20) NOT NULL COMMENT '商品ID',
device_type string COMMENT '設(shè)備類型',
os string COMMENT '手機(jī)系統(tǒng)',
os_version string COMMENT '手機(jī)系統(tǒng)版本',
manufacturer string COMMENT '手機(jī)制造商',
carrier string COMMENT '電信運(yùn)營(yíng)商',
user_areacode string COMMENT '用戶所在地區(qū)',
consignee_zipcode string COMMENT '收貨人地址',
pay_type string COMMENT '支付類型：線上支付 10 網(wǎng)上銀行 11 微信 12 支付寶 | 線下支 付(貨到付款) 20 ',
pay_count INT COMMENT '支付次數(shù)',
product_price DECIMAL (5, 1) NOT NULL COMMENT '購(gòu)買商品單價(jià)',
weighing_cost DECIMAL (2, 1) NOT NULL COMMENT '商品加權(quán)價(jià)格',
district_money DECIMAL (4, 1) NOT NULL DEFAULT 0.0 COMMENT '優(yōu)惠金額',
is_activity NOT NULL DEFAULT 0 COMMENT '1:參加活動(dòng)|0：沒(méi)有參加活動(dòng)',
order_ctime BIGINT COMMENT '創(chuàng)建時(shí)間'
) partitioned BY (bdp_day string) stored AS parquet location '/data/nshop/dwd/order/dwd_nshop_orders_details/'
營(yíng)銷活動(dòng)主題的廣告投放數(shù)據(jù)表【DWD】示例：
CREATE external TABLE
IF NOT EXISTS dwd_nshop.dwd_nshop_releasedatas (
customer_id string COMMENT '用戶id',
device_num string COMMENT '設(shè)備號(hào)',
device_type string COMMENT '設(shè)備類型',
os string COMMENT '手機(jī)系統(tǒng)',
os_version string COMMENT '手機(jī)系統(tǒng)版本',
manufacturer string COMMENT '手機(jī)制造商',
area_code string COMMENT '地區(qū)編碼',
release_sid string COMMENT '投放請(qǐng)求id',
release_ip string COMMENT '投放方ip',
release_session string COMMENT '投放會(huì)話id',
release_sources string COMMENT '投放渠道',
release_category string COMMENT '投放瀏覽產(chǎn)品分類',
release_product string COMMENT '投放瀏覽產(chǎn)品',
release_product_page string COMMENT '投放瀏覽產(chǎn)品頁(yè)',
ct BIGINT COMMENT '創(chuàng)建時(shí)間'
) partitioned BY (bdp_day string) stored AS parquet location '/data/nshop/dwd/release/dwd_nshop_releasedatas/'
- DIM維表層
MySQL業(yè)務(wù)數(shù)據(jù)對(duì)應(yīng)的Hive表
| 中文含義 | MYSQL表名 | HIVE表名 |
|---|---|---|
| 商品分類表 | nshop.category | dim_nshop.dim_pub_category |
| 店鋪表 | nshop.supplier | dim_nshop.dim_pub_supplier |
| 商品表 | nshop.product | dim_nshop.dim_pub_product |
| 頁(yè)面布局表 | nshop.page_dim | dim_nshop.dim_pub_page |
| 通用字典表 | nshop.comm_dim | dim_nshop.dim_pub_comm |
| 時(shí)間字典表 | nshop.date_dim | dim_nshop.dim_pub_date |
| 地區(qū)字典表 | nshop.area_dim | dim_nshop.dim_pub_area |
- MID中間層
用戶啟動(dòng)統(tǒng)計(jì)【MID】建表示例：
CREATE external TABLE
IF NOT EXISTS mid_nshop.mid_nshop_actlog_launch_timesegs (
user_id string COMMENT '用戶id',
os string COMMENT '手機(jī)系統(tǒng)',
os_version string COMMENT '手機(jī)系統(tǒng)版本',
manufacturer string COMMENT '手機(jī)制造商',
carrier string COMMENT '電信運(yùn)營(yíng)商',
network_type string COMMENT '網(wǎng)絡(luò)類型',
area_code string COMMENT '地區(qū)編碼',
launch_times string COMMENT '24bit表示24小時(shí)啟動(dòng)情況',
launch_count INT COMMENT '用戶每天啟動(dòng)次數(shù)',
ct BIGINT COMMENT '產(chǎn)生時(shí)間'
) partitioned BY (bdp_day string) stored AS parquet location '/data/nshop/mid/actlog/mid_nshop_actlog_launch_timesegs/'
- ADS應(yīng)用數(shù)據(jù)層
總體運(yùn)營(yíng)統(tǒng)計(jì)的流量類指標(biāo)_平臺(tái)統(tǒng)計(jì)表【ADS】建表示例：
CREATE external TABLE
IF NOT EXISTS ads_nshop.ads_nshop_platform_flow_stat (
customer_gender TINYINT NOT NULL COMMENT '性別：1男 0女',
age_range VARCHAR (10) NOT NULL COMMENT '年齡段',
customer_natives VARCHAR (10) NULL COMMENT '所在地區(qū)',
visit_avg_duration INT COMMENT '人均頁(yè)面訪問(wèn)時(shí)長(zhǎng)',
visit_avg_counts INT COMMENT '人均頁(yè)面訪問(wèn)數(shù)'
) partitioned BY (bdp_day string) stored AS parquet location '/data/nshop/ads/operation/ads_nshop_platform_flow_stat/'
5.數(shù)倉(cāng)結(jié)構(gòu)圖
數(shù)倉(cāng)運(yùn)行簡(jiǎn)圖：
數(shù)倉(cāng)具體運(yùn)行流程圖：
