「數(shù)據(jù)中臺」最早是由阿里提出，對標(biāo)國外「Data Lake」（數(shù)據(jù)湖）的概念隔箍。該概念提出的背景是因?yàn)榘⒗锷鷳B(tài)系中淘寶、天貓脚乡、螞蟻金服蜒滩、盒馬鮮生等業(yè)務(wù)板塊每天產(chǎn)生大量有價(jià)值的數(shù)據(jù)，要實(shí)現(xiàn)在不同業(yè)務(wù)群間做到數(shù)據(jù)的互聯(lián)互通奶稠，以及對數(shù)據(jù)價(jià)值的最大化挖掘俯艰，便需要對各業(yè)務(wù)群的數(shù)據(jù)進(jìn)行整合以建立集團(tuán)層面的「數(shù)據(jù)中臺」，統(tǒng)一管理和應(yīng)用數(shù)據(jù)锌订。
一.廣告主對營銷數(shù)據(jù)中臺的期望是什么竹握？?
1.賦予廣告主數(shù)字營銷的精細(xì)化操作能力，當(dāng)市場部承接的數(shù)字營銷預(yù)算大到一定程度時(shí)辆飘，便無法僅憑借營銷人員的個(gè)人經(jīng)驗(yàn)對營銷活動(dòng)進(jìn)行微觀操作啦辐。而在擁有數(shù)據(jù)中臺后，便可依靠數(shù)據(jù)+技術(shù)蜈项，驅(qū)動(dòng)整個(gè)營銷體系的精細(xì)化操作芹关；
2.提升營銷執(zhí)行的ROI：這是廣告主最常規(guī)的訴求，市場部絕大部分預(yù)算都分配在營銷執(zhí)行層面紧卒。按照每年1億的營銷投入計(jì)算侥衬，如果能通過數(shù)據(jù)提升1%的精準(zhǔn)度，就能為廣告主節(jié)省100萬的成本跑芳，這是能最直接看到的真金白銀轴总；
3.戰(zhàn)略視角的營銷策略：在打通生產(chǎn)、銷售博个、電商怀樟、服務(wù)等數(shù)據(jù)后，市場部就能看到更加連貫的全局?jǐn)?shù)據(jù)盆佣，可以站在更高維度審視營銷在公司戰(zhàn)略布局中的定位和作用往堡；
4.提升市場部內(nèi)部運(yùn)營的整合度：當(dāng)市場部內(nèi)部職能劃分過細(xì)，便需要通過數(shù)據(jù)來串接營銷運(yùn)營過程中的市場研究->市場策略->營銷執(zhí)行->效果考核罪塔，避免內(nèi)部信息不對稱投蝉，提升運(yùn)營效率 ；
5.加強(qiáng)市場部和其他部門間協(xié)作：當(dāng)企業(yè)內(nèi)部組織架構(gòu)達(dá)到一定復(fù)雜度征堪，市場部需要通過數(shù)據(jù)對接其他部門的運(yùn)作，在企業(yè)統(tǒng)一的考核體系下关拒，于企業(yè)內(nèi)部證明自身價(jià)值佃蚜，爭取更多資源庸娱；
6.支撐業(yè)務(wù)的數(shù)字化轉(zhuǎn)型：「數(shù)字營銷」已不再只是營銷詞匯，數(shù)據(jù)中臺所擁有的資源（數(shù)據(jù)/IT設(shè)施/考核規(guī)則/運(yùn)營人員）谐算，除了支持營銷場景熟尉，還可用于構(gòu)建各種數(shù)字化轉(zhuǎn)型的業(yè)務(wù)場景，作為CMO和CEO/CGO/CDO對話的核心資本洲脂。有趣的是斤儿，今天討論建立營銷數(shù)據(jù)中臺的，除了市場部和IT部門恐锦，很多需求是來自更高層的CEO往果、COO（首席運(yùn)營官）、CGO（首席增長官）一铅，這些高層的訴求是通過「數(shù)據(jù)中臺」來解決業(yè)務(wù)問題（例如產(chǎn)能過剩陕贮、人員效能、獲客）潘飘，支持企業(yè)的創(chuàng)新業(yè)務(wù)（例如新零售肮之、金融科技、數(shù)字化管理）卜录。
二.數(shù)據(jù)中臺的系統(tǒng)架構(gòu)模型
三.數(shù)據(jù)中臺幾個(gè)關(guān)鍵點(diǎn)：
1.多數(shù)據(jù)源對接
從各種數(shù)據(jù)源提取數(shù)據(jù)戈擒，放入數(shù)據(jù)中臺，數(shù)據(jù)類型包括
●? 第一方數(shù)據(jù)：廣告主自身系統(tǒng)上產(chǎn)生的數(shù)據(jù)艰毒，例如CRM峦甩、售后服務(wù)、會(huì)員系統(tǒng)等现喳；
● 第二方數(shù)據(jù)：廣告主在外部系統(tǒng)上產(chǎn)生的數(shù)據(jù)凯傲，由外部系統(tǒng)通過API提供，例如電商數(shù)據(jù)嗦篱、廣告監(jiān)測數(shù)據(jù)冰单、微信公眾號數(shù)據(jù)等；
● 第三方數(shù)據(jù)：廣告主直接購買的外部數(shù)據(jù)資源灸促。需要強(qiáng)調(diào)的是诫欠，和業(yè)外人想象的不同，第三方數(shù)據(jù)交易并非一手交錢一手交數(shù)據(jù)浴栽。目前數(shù)據(jù)生態(tài)圈的法律合規(guī)要求荒叼，第三方數(shù)據(jù)交易不允許廣告主直接采購消費(fèi)者的ID，數(shù)據(jù)服務(wù)商智能基于廣告主提供的消費(fèi)者ID提供數(shù)據(jù)服務(wù)典鸡。
2.數(shù)據(jù)治理
在獲取不同數(shù)據(jù)后被廓，對數(shù)據(jù)的治理包括三個(gè)任務(wù)
A． 數(shù)據(jù)標(biāo)準(zhǔn)化：例如不同數(shù)據(jù)源對于消費(fèi)者性別的描述有「男-女」，「先生-女士」等多種寫法萝玷，在做數(shù)據(jù)整合的時(shí)候嫁乘，需要統(tǒng)一不同數(shù)據(jù)源對于相同含義的描述值昆婿；
B． ID打通：上文也描述過，不同數(shù)據(jù)源對于消費(fèi)者的識別是基于不同ID的蜓斧，數(shù)據(jù)源的拼合需要ID打通仓蛆。對于大部分廣告主來說，無法擁有像BAT那樣的數(shù)據(jù)量挎春，BAT每天能收集十億級別ID發(fā)生的千億級別的行為數(shù)據(jù)看疙，他們的確能做到依靠自身數(shù)據(jù)打通不同數(shù)據(jù)源。大部分廣告主在沒有如此大量數(shù)據(jù)和消費(fèi)者活躍度的情況下直奋，ID打通需要依賴外部數(shù)據(jù)源能庆；
C． 異常數(shù)據(jù)甄別：和ID打通一樣，異常數(shù)據(jù)的甄別在廣告主自身數(shù)據(jù)不夠龐大的情況下帮碰，同樣依賴外部數(shù)據(jù)相味。例如某個(gè)ID每天會(huì)點(diǎn)擊2次某廣告主的廣告，這個(gè)行為相對正常殉挽。但是如果放到全行業(yè)丰涉，這個(gè)ID也許每天會(huì)點(diǎn)擊1萬次各個(gè)廣告主的廣告，這就很明顯是流量作弊了斯碌。
3.數(shù)據(jù)存儲和運(yùn)算
在數(shù)據(jù)完成治理后一死，統(tǒng)一放入數(shù)據(jù)庫進(jìn)行管理和運(yùn)算。由于數(shù)據(jù)量過大傻唾，在單一服務(wù)器上無法完成存儲和運(yùn)算投慈，就涉及到大數(shù)據(jù)的分布式運(yùn)算，云計(jì)算等復(fù)雜IT層面的管理冠骄。
按照數(shù)據(jù)存儲和計(jì)算的地方伪煤，可分為營銷云（數(shù)據(jù)存在第三方的云平臺上），自有云（廣告主自己的IT環(huán)境內(nèi)）凛辣，混合模式（非敏感數(shù)據(jù)存放在第三方云抱既，敏感數(shù)據(jù)在自有平臺），以上不同的方式有著不同的成本扁誓，數(shù)據(jù)安全和合規(guī)要求等防泵。
4.權(quán)限管理
數(shù)據(jù)中臺的目標(biāo)是支撐市場部甚至全公司不同業(yè)務(wù)場景，這也意味著從公司高層到底層外包員工都需要從數(shù)據(jù)中臺提取數(shù)據(jù)蝗敢，為了防止數(shù)據(jù)泄露等問題的發(fā)生捷泞，需要對不同用戶、不同場景進(jìn)行權(quán)限分級管理寿谴。例如負(fù)責(zé)接聽電話的客服人員锁右，在客服系統(tǒng)中就不可以看到消費(fèi)者的全名和實(shí)際手機(jī)號。
5.數(shù)據(jù)分析
上文也有描述，在使用「營銷大數(shù)據(jù)」前骡湖，需要對數(shù)據(jù)通過分析贱纠，生成業(yè)務(wù)側(cè)用戶能夠理解的標(biāo)簽峻厚，分析的過程包括非實(shí)時(shí)的傳統(tǒng)數(shù)據(jù)挖掘响蕴，依靠AI人工智能的實(shí)時(shí)分析等。在分析過程中惠桃，廣告主很難在短期內(nèi)積累自身的知識圖譜和高質(zhì)量的標(biāo)簽浦夷，需要依賴外部的數(shù)據(jù)能力。
6.數(shù)據(jù)可視化
雖然數(shù)據(jù)中臺是由技術(shù)背景的團(tuán)隊(duì)進(jìn)行運(yùn)維辜王，但是實(shí)際使用的是對數(shù)據(jù)缺乏感知的業(yè)務(wù)側(cè)人員劈狐。對比成億條原始數(shù)據(jù)，業(yè)務(wù)側(cè)也許只需要一個(gè)餅圖就能得到商業(yè)結(jié)論呐馆，因此可視化是真正讓業(yè)務(wù)側(cè)使用數(shù)據(jù)中臺的基本工具肥缔。
7.數(shù)據(jù)輸出
數(shù)據(jù)中臺的產(chǎn)出，除了數(shù)據(jù)可視化展現(xiàn)的洞察外汹来，還會(huì)對接不同的業(yè)務(wù)系統(tǒng)续膳，通過數(shù)據(jù)來驅(qū)動(dòng)業(yè)務(wù)場景，例如程序化廣告收班、新零售坟岔、動(dòng)態(tài)定價(jià)等諸多業(yè)務(wù)場景需要毫秒級的查詢和輸出，也是IT層面需要解決的技術(shù)問題摔桦。
四.常見的數(shù)據(jù)源
①基于設(shè)備ID社付、cookie的網(wǎng)站分析和廣告監(jiān)測數(shù)據(jù)：描述的是消費(fèi)者對于互聯(lián)網(wǎng)廣告，以及廣告主官網(wǎng)邻耕、APP等自由平臺的瀏覽和點(diǎn)擊行為鸥咖；
②?基于手機(jī)號的PII數(shù)據(jù)：包括會(huì)員系統(tǒng)、CRM數(shù)據(jù)等兄世，描述的是消費(fèi)者的會(huì)員信息啼辣，歷史采購記錄等；
③?基于Mac#和人臉識別的線下數(shù)據(jù)：通過智能探針技術(shù)碘饼、攝像頭+人像識別技術(shù)熙兔，收集到的消費(fèi)者線下行為數(shù)據(jù)；
④基于外部平臺ID的平臺數(shù)據(jù)：包括微信的Open?ID艾恼、各個(gè)大數(shù)據(jù)方的自建Super?ID等住涉。
這些數(shù)據(jù)的打通雖然有很多技術(shù)途徑，例如在微信中建立SCRM會(huì)員體系钠绍，消費(fèi)者在微信公眾號中進(jìn)行手機(jī)的實(shí)名認(rèn)證舆声，就能打通手機(jī)號和微信Open ID；再例如一個(gè)消費(fèi)者在手機(jī)和電腦上用同一個(gè)用戶名登錄了某個(gè)APP，就知道手機(jī)的設(shè)備ID和電腦瀏覽器的Cookie是同一個(gè)人等等媳握。
考慮到一個(gè)消費(fèi)者可能有多個(gè)終端碱屁、多個(gè)手機(jī)號，會(huì)經(jīng)常換手機(jī)（設(shè)備ID變化）蛾找，會(huì)借用別人終端登錄APP娩脾，還有網(wǎng)吧共享電腦等復(fù)雜形式的存在，當(dāng)廣告主自身數(shù)據(jù)量不夠大的時(shí)候打毛，很難依靠以上這些技術(shù)手段達(dá)到很好的數(shù)據(jù)打通效果柿赊。
五.數(shù)據(jù)中臺的三種形式：Data Lake，CDP幻枉，DMP碰声、
●?Data?Lake（數(shù)據(jù)湖）：技術(shù)難度最重的一種，定位是企業(yè)業(yè)務(wù)層面的數(shù)據(jù)大集市熬甫，會(huì)整合全公司各種數(shù)據(jù)源胰挑，支撐的不只是營銷場景，還包括企業(yè)個(gè)性化的業(yè)務(wù)場景椿肩，往往由企業(yè)的最高層直接領(lǐng)導(dǎo)瞻颂，目標(biāo)是幫助企業(yè)進(jìn)行數(shù)字化轉(zhuǎn)型。由于在數(shù)據(jù)對接和數(shù)據(jù)處理層面需要處理大量定制化數(shù)據(jù)源覆旱，因此構(gòu)建過程往往以年為時(shí)間單位蘸朋；
●??CDP（Customer?Data?Platform）：技術(shù)難度稍低的數(shù)據(jù)中臺，定位是營銷層面的數(shù)據(jù)大集市扣唱，目標(biāo)是支撐各種利用廣告主自有數(shù)據(jù)的營銷場景藕坯。因?yàn)镃DP通常只對接標(biāo)準(zhǔn)化數(shù)據(jù)源（例如兩個(gè)廣告主用的是同一款標(biāo)準(zhǔn)化CRM，他們的底層數(shù)據(jù)結(jié)構(gòu)都是一樣的）噪沙，數(shù)據(jù)治理和數(shù)據(jù)管理相對容易炼彪，因此實(shí)施周期以月為單位；
●?DMP（Data?Management?Platform）：定位是支撐以程序化廣告為主的實(shí)時(shí)營銷場景正歼，和Data?Lake辐马，CDP的最大不同是毫秒級數(shù)據(jù)輸出。因?yàn)镈MP主要用到的是廣告監(jiān)測數(shù)據(jù)局义、網(wǎng)站分析數(shù)據(jù)和第三方大數(shù)據(jù)喜爷，數(shù)據(jù)格式相對固定，因此實(shí)施難度最低萄唇。
因?yàn)樵诔绦蚧瘡V告的運(yùn)營過程中檩帐，DMP的數(shù)據(jù)會(huì)暴露在公網(wǎng)上，被外部供應(yīng)商和媒體調(diào)用另萤，因此只能存放廣告投放使用的匿名數(shù)據(jù)（ID和標(biāo)簽）湃密，不能存放其他敏感信息（姓名诅挑、手機(jī)號、地址泛源、歷史購買等）拔妥，投放的標(biāo)簽也需要脫敏（例如某ID的標(biāo)簽是A，實(shí)際代表著過去3周沒有購買的高消費(fèi)客戶达箍，但這個(gè)定義只有廣告主內(nèi)部數(shù)據(jù)分析團(tuán)隊(duì)知道）没龙。
在數(shù)據(jù)存儲和運(yùn)算中，DMP可以構(gòu)建在廣告主自己的IT環(huán)境里（稱為第一方DMP）幻梯，也可以放在第三方營銷云上（稱為SAAS DMP兜畸，或者第三方DMP）努释。因?yàn)榈谌紻MP會(huì)預(yù)先對接媒體碘梢，自帶算法、標(biāo)簽和數(shù)據(jù)治理模塊伐蒂，能把DMP的實(shí)施時(shí)間縮小到幾周煞躬，可以大大降低實(shí)施成本。
而由于Data Lake 和CDP上存儲了廣告主的敏感數(shù)據(jù)和商業(yè)機(jī)密（例如歷史采購信息）逸邦，因此只能構(gòu)建在廣告主自己的IT環(huán)境下恩沛，從技術(shù)角度而言更加復(fù)雜，成本也更高缕减。
通過上表可見雷客，Data Lake和CDP相對復(fù)雜，但是在應(yīng)用場景上有更多遐想空間桥狡，而DMP則就是為程序化廣告而生搅裙，是最輕量的營銷數(shù)據(jù)中臺技術(shù)。三種形式不存在誰優(yōu)誰劣裹芝，各有各自的適用對象或場景：
●?DMP：適合在廣告投放領(lǐng)域投入大量預(yù)算的廣告主部逮，例如快消、汽車嫂易、化妝品兄朋、娛樂等；
●?CDP：適合消費(fèi)者復(fù)購比率高怜械，自有體系可以收集大量消費(fèi)者數(shù)據(jù)的廣告主颅和，例如奶粉、零售缕允、運(yùn)動(dòng)用品峡扩、化妝品等；
●?Data?Lake：適用于有大量數(shù)據(jù)驅(qū)動(dòng)應(yīng)用場景的廣告主灼芭，例如快消有额、零售、汽車。
文章轉(zhuǎn)自：http://www.reibang.com/writer#/notebooks/9882362/notes/44382794
