OneData介紹
OneData即是阿里巴巴內(nèi)部進(jìn)行數(shù)據(jù)整合及管理的方法體系和工具。
數(shù)據(jù)從業(yè)者能在這一體系下报强,構(gòu)建統(tǒng)一灸姊、規(guī)范、可共享的全域數(shù)據(jù)體系秉溉,避免數(shù)據(jù)的冗余和重復(fù)建設(shè)力惯,規(guī)避數(shù)據(jù)煙囪和不一致性。
建設(shè)統(tǒng)一的召嘶、規(guī)范化的數(shù)據(jù)接入層(ODS)和數(shù)據(jù)中間層(DWD和DWS)父晶,通過數(shù)據(jù)服務(wù)和數(shù)據(jù)產(chǎn)品,完成服務(wù)于公司的大數(shù)據(jù)系統(tǒng)建設(shè)弄跌,即數(shù)據(jù)公共層建設(shè)甲喝。
指標(biāo)種類:
名詞術(shù)語 | 解釋 |
---|---|
維度 | 用來反映業(yè)務(wù)的一類屬性,這類屬性構(gòu)成一個(gè)維度铛只,如地理維度埠胖、時(shí)間維度 |
公共修飾詞 | 指除了統(tǒng)計(jì)維度以外的公共限定詞 |
其他修飾詞 | 不便于約定的修飾詞,比如“曝光人數(shù)超過100的“商品銷量 |
動(dòng)作 | 指企業(yè)的業(yè)務(wù)活動(dòng)事件淳玩,如下單直撤、支付、退款都是動(dòng)作蜕着,也叫業(yè)務(wù)過程 |
維度屬性 | 維度屬性隸屬于一個(gè)維度谋竖,如地理維度里面的國家名稱、國家D、省份名稱等 |
度量 | 用于衡量某個(gè)過程的單位蓖乘,如人數(shù)锤悄、次數(shù)、件數(shù)驱敲、金額等 |
時(shí)間周期 | 用來明確數(shù)據(jù)統(tǒng)計(jì)的時(shí)間范圍或時(shí)間點(diǎn) |
原子指標(biāo) | 基于某一業(yè)務(wù)過程下的不可再拆分的指標(biāo)铁蹈,一般來說,原子指標(biāo)=動(dòng)作+度量 |
派生指標(biāo) | 公共修飾詞+(維度屬性)+原子指標(biāo)+時(shí)間周期+(其他修飾詞) |
指標(biāo)體系
1.組成體系之間的關(guān)系
原子指標(biāo)、修飾類型及修飾詞针肥,直接歸屬在業(yè)務(wù)過程下祥款,其中飾詞繼承修飾類型的數(shù)據(jù)域。
派生指標(biāo)可以選擇多個(gè)修飾詞铣鹏,修飾詞之間的關(guān)系為“或“或者“且”,由具體的派生指標(biāo)語義決定。
派生指標(biāo)唯一歸屬一個(gè)原子指標(biāo)狈定,繼承原子指標(biāo)的數(shù)據(jù)域,與修飾詞的數(shù)據(jù)域無關(guān)习蓬。
原子指標(biāo)有確定的英文字段名纽什、數(shù)據(jù)類型和算法說明;派生指標(biāo)要繼承原子指標(biāo)的英文名躲叼、數(shù)據(jù)類型和算法要求芦缰。
2.命名約定
業(yè)務(wù)過程:具體業(yè)務(wù)過程中文即可。
原子指標(biāo):動(dòng)作+度量枫慷,原子指標(biāo)必須掛靠在某個(gè)業(yè)務(wù)過程下让蕾。
修飾詞:時(shí)間周期修飾詞參考常用表命名,其他修飾詞按照實(shí)際規(guī)定來或听。
派生指標(biāo):時(shí)間周期修飾詞+【其他修飾詞】+原子指標(biāo)探孝。
操作細(xì)則:
1.派生指標(biāo)的種類
事務(wù)型指標(biāo):是指對(duì)業(yè)務(wù)活動(dòng)進(jìn)行衡量的指標(biāo)。例如新發(fā)商品數(shù)誉裆、重發(fā)商品數(shù)顿颅、新增注冊(cè)會(huì)員數(shù)、訂單支付金額足丢,這類指標(biāo)需維護(hù)原子指標(biāo)及修飾詞粱腻,在此基礎(chǔ)上創(chuàng)建派生指標(biāo)。
存量型指標(biāo):是指對(duì)實(shí)體對(duì)象(如商品霎桅、會(huì)員)某些狀態(tài)的統(tǒng)計(jì)栖疑。例如商品總數(shù)、注冊(cè)會(huì)員總數(shù)滔驶,這類指標(biāo)需維護(hù)原子指標(biāo)及修飾詞遇革,在此基礎(chǔ)上創(chuàng)建派生指標(biāo),對(duì)應(yīng)的時(shí)間周期一般為“歷史截至當(dāng)前某個(gè)時(shí)間"。
復(fù)合型指標(biāo):是在事務(wù)型指標(biāo)和存量型指標(biāo)的基礎(chǔ)上復(fù)合而成的萝快。例如瀏覽UV-下單買家數(shù)轉(zhuǎn)化率锻霎,有些需要?jiǎng)?chuàng)建新原子指標(biāo),有些則可以在事務(wù)型和存量型原子指標(biāo)的基礎(chǔ)上增加修飾詞得到派生指標(biāo)揪漩。
2.復(fù)合型指標(biāo)的規(guī)則
比率型:創(chuàng)建原子指標(biāo)旋恼,如CTR、瀏覽UV-下單買家數(shù)轉(zhuǎn)化率奄容、滿意率等冰更。例如,“最近1天店鋪首頁CTR"昂勒,原子指標(biāo)為 “CTR"蜀细,時(shí)間周期為“最近1天”,修飾類型為“頁面類型戈盈,修飾詞為“店鋪首頁”奠衔。
比例型:創(chuàng)建原子指標(biāo),如百分比塘娶、占比归斤。例如“最近1天無線支付金額占比",原子指標(biāo)為“支付金額占比"刁岸,修飾類型為終端類型”脏里,修飾詞為“無線”。
變化量型:不創(chuàng)建原子指標(biāo)难捌,增加修飾詞膝宁,在此基礎(chǔ)上創(chuàng)建派生指標(biāo)。例如根吁,“最近1天訂單支付金額上1天變化量”员淫,原子指標(biāo)為“訂單支付金額”,時(shí)間周期為“最近1天”击敌,修飾類型為“統(tǒng)計(jì)方法"介返,修飾詞為“上1天變化量”。
變化率型:創(chuàng)建原子指標(biāo)沃斤。例如圣蝎,“最近7天海外買家支付金額上7天變化率”,原子指標(biāo)為“支付金額變化率”衡瓶,時(shí)間周期為“最近7天”徘公,修飾類型為“買家地域”,修飾詞為“海外買家”哮针。
統(tǒng)計(jì)型(均值关面、分位數(shù)等):不創(chuàng)建原子指標(biāo)坦袍,增加修飾詞,在此基礎(chǔ)上創(chuàng)建派生指標(biāo)等太;在修飾類型“統(tǒng)計(jì)方法“下增加修飾詞捂齐,如人均、日均缩抡、行業(yè)平均奠宜、商品平均、90分位數(shù)瞻想、70分位數(shù)等压真。例如,“自然月日均UV"内边,原子指標(biāo)為“UV"榴都,修飾類型為“統(tǒng)計(jì)方法”待锈,修飾詞為“日均"漠其。
排名型:創(chuàng)建原子指標(biāo),一般為top_xxx_xxx竿音,有時(shí)會(huì)同時(shí)選擇rank和top_xxx_xxx組合使用和屎。創(chuàng)建派生指標(biāo)時(shí)選擇對(duì)應(yīng)的修飾詞如下:
統(tǒng)計(jì)方法:比如降序、升序
排名名次:比如top100排名范圍:比如行業(yè)春瞬、省份柴信、一級(jí)來源
根據(jù)什么排序:比如搜索次數(shù)、PV
對(duì)象集合型:主要是指數(shù)據(jù)產(chǎn)品和應(yīng)用需要展現(xiàn)數(shù)據(jù)時(shí)宽气,將一些對(duì)象以k-v對(duì)的方式存儲(chǔ)在一個(gè)字段中随常,方便前端展現(xiàn)統(tǒng)計(jì)方法:比如降序、升序
上下層級(jí)派生指標(biāo)同時(shí)存在時(shí):如最近1天支付金額和最近1天PC端支付金額萄涯,建議使用前者绪氛,把PC端作為維度屬性存放在物理表中體現(xiàn)。
父子關(guān)系原子指標(biāo)存在時(shí):當(dāng)父子關(guān)系原子指標(biāo)存在時(shí)涝影,派生指標(biāo)使用子原子指標(biāo)創(chuàng)建派生指標(biāo)枣察。如PV、IPV(商品詳情頁P(yáng)V)燃逻,當(dāng)統(tǒng)計(jì)商品詳情頁P(yáng)V時(shí)序目,優(yōu)先選擇子原子指標(biāo)。