隨著各行業(yè)產(chǎn)品和服務(wù)越來(lái)越豐富砂心、多樣化，市場(chǎng)的趨于飽和鲜结，競(jìng)爭(zhēng)白熱化域那，吸引并留存用戶難度和成本都雙雙居高不下，成為企業(yè)不能承受之重审编，同時(shí)企業(yè)又為了盈利和生存撼班，更加嚴(yán)格地控制預(yù)算和成本。依靠數(shù)據(jù)精細(xì)化運(yùn)營(yíng)垒酬、數(shù)據(jù)驅(qū)動(dòng)增長(zhǎng)已經(jīng)成為企業(yè)的必修課砰嘁。
近兩年企業(yè)也都紛紛成立數(shù)據(jù)團(tuán)隊(duì)件炉，企業(yè)大數(shù)據(jù)團(tuán)隊(duì)能否基于大數(shù)據(jù)平臺(tái)給企業(yè)的營(yíng)銷賦能、運(yùn)營(yíng)賦能矮湘，成為驅(qū)動(dòng)企業(yè)成長(zhǎng)的關(guān)鍵所在斟冕。賦能的核心是搭建好用的大數(shù)據(jù)平臺(tái)，成體系的缅阳、架構(gòu)優(yōu)良數(shù)據(jù)產(chǎn)品矩陣磕蛇，大數(shù)據(jù)平臺(tái)也不再是獨(dú)立的數(shù)據(jù)平臺(tái)，開(kāi)始和CRM十办、營(yíng)銷平臺(tái)秀撇、PUSH系統(tǒng)深度融合，直接給業(yè)務(wù)系統(tǒng)賦能橘洞。
我們不談大數(shù)據(jù)平臺(tái)的技術(shù)架構(gòu)捌袜，而從產(chǎn)品角度解析下大數(shù)據(jù)平臺(tái)，包含哪些產(chǎn)品模塊炸枣，各產(chǎn)品模塊的核心功能又是什么虏等。例如說(shuō)用戶畫(huà)像必談標(biāo)簽，但在產(chǎn)品層面是一回事么适肠，應(yīng)該怎么設(shè)計(jì)霍衫？另外廠商的數(shù)據(jù)管理平臺(tái)也是百花齊放，不同行業(yè)不同公司應(yīng)用的側(cè)重方向不一樣侯养，產(chǎn)品架構(gòu)也不盡相同敦跌。廣告行業(yè)的DMP，也叫做數(shù)據(jù)管理平臺(tái)逛揩，但是和一般企業(yè)中的大數(shù)據(jù)開(kāi)發(fā)管理平臺(tái)就不是一個(gè)概念柠傍，DMP核心是標(biāo)簽平臺(tái)，給用戶打各種標(biāo)簽辩稽，然后和廣告主惧笛、DSP做用戶群對(duì)接，為精準(zhǔn)投放廣告服務(wù)逞泄。
如何從紛亂的信息中理出一條相對(duì)清晰的產(chǎn)品思路來(lái)患整，對(duì)應(yīng)大數(shù)據(jù)平臺(tái)來(lái)說(shuō)是至關(guān)重要的一步，產(chǎn)品架構(gòu)是技術(shù)架構(gòu)的雛形喷众，目標(biāo)一致各谚，產(chǎn)品和技術(shù)都會(huì)少走彎路。我把體系分成4層到千，從下往上依次是數(shù)據(jù)收集層昌渤、數(shù)據(jù)加工層、數(shù)據(jù)計(jì)算層憔四、數(shù)據(jù)應(yīng)用層愈涩，層層依賴望抽，下一層是上一層的基礎(chǔ)。這里不能簡(jiǎn)單化的把此四層看做技術(shù)架構(gòu)履婉、也無(wú)法映射到相應(yīng)的BI技術(shù)組件，這里的分層只是為非常宏觀地把數(shù)據(jù)產(chǎn)品體系拎清楚斟览，而不是設(shè)計(jì)技術(shù)架構(gòu)毁腿。
我們先簡(jiǎn)單說(shuō)下各層的功能以及涉及到的產(chǎn)品模塊，然后再詳細(xì)介紹各個(gè)產(chǎn)品模塊苛茂。
數(shù)據(jù)收集層捕獲用戶在各個(gè)產(chǎn)品端的行為數(shù)據(jù)已烤，加載各業(yè)務(wù)系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化妓羊，導(dǎo)入流量平臺(tái)數(shù)據(jù)胯究、通過(guò)第三方平臺(tái)的API接入微信、微博數(shù)據(jù)躁绸、廣告投放數(shù)據(jù)裕循，使用爬蟲(chóng)采集企業(yè)輿情、電商商品評(píng)論等第三方數(shù)據(jù)净刮。 相對(duì)應(yīng)的產(chǎn)品有用戶行為日志采集系統(tǒng)剥哑、第三方對(duì)接平臺(tái)、數(shù)據(jù)爬蟲(chóng)淹父。
數(shù)據(jù)加工層清洗株婴、轉(zhuǎn)換數(shù)據(jù)，把不同業(yè)務(wù)系統(tǒng)的用戶歸一化生成統(tǒng)一的UniID暑认，統(tǒng)一不同系統(tǒng)中的相同字段的數(shù)據(jù)類型困介、數(shù)據(jù)值（例如流量系統(tǒng)中的渠道和營(yíng)銷平臺(tái)、廣告投放中定義的渠道不一致）蘸际，建立合理的維度座哩、度量以及數(shù)據(jù)模型。這一層的產(chǎn)品模塊有元數(shù)據(jù)管理捡鱼、指標(biāo)庫(kù)八回、作業(yè)調(diào)度管理、數(shù)據(jù)質(zhì)量管理驾诈，都是為了讓數(shù)據(jù)可追溯缠诅、可管理，持續(xù)改進(jìn)數(shù)據(jù)質(zhì)量乍迄，產(chǎn)出高質(zhì)量的數(shù)據(jù)管引。
數(shù)據(jù)計(jì)算層解決數(shù)據(jù)開(kāi)發(fā)和挖掘、標(biāo)簽制作和使用闯两、算法調(diào)用褥伴、數(shù)據(jù)調(diào)用等問(wèn)題谅将。對(duì)應(yīng)的數(shù)據(jù)產(chǎn)品模塊有：開(kāi)發(fā)管理、標(biāo)簽平臺(tái)重慢、算法平臺(tái)饥臂、數(shù)據(jù)接口、運(yùn)維監(jiān)控似踱。數(shù)據(jù)加工層和數(shù)據(jù)計(jì)算層是數(shù)據(jù)平臺(tái)建設(shè)的核心隅熙。
數(shù)據(jù)應(yīng)用層是業(yè)務(wù)人員、用戶可感知的系統(tǒng)和產(chǎn)品功能核芽。內(nèi)部包括日常報(bào)表系統(tǒng)囚戚、用戶畫(huà)像系統(tǒng)、標(biāo)簽查詢轧简、CRM驰坊、營(yíng)銷平臺(tái)，對(duì)外包括改善用戶體驗(yàn)的個(gè)性化PUSH哮独、推薦系統(tǒng)拳芙。
用戶畫(huà)像系統(tǒng)是在標(biāo)簽的基礎(chǔ)上定期生成企業(yè)、產(chǎn)品線用戶畫(huà)像報(bào)告借嗽，宏觀态鳖、匯總顯示用戶主要特征，同時(shí)可以自助查詢單一用戶恶导、某個(gè)渠道浆竭、某條產(chǎn)品線的用戶畫(huà)像。供管理層惨寿、銷售邦泄、運(yùn)營(yíng)、產(chǎn)品經(jīng)理日常使用裂垦。
標(biāo)簽功能是需要構(gòu)建一個(gè)標(biāo)簽服務(wù)平臺(tái)顺囊，最大限度的規(guī)范標(biāo)簽的體系（大類、中類蕉拢、小類）特碳、標(biāo)簽的格式、組合方式晕换、調(diào)用方式等午乓，可以基于標(biāo)簽進(jìn)行二次加工發(fā)布新標(biāo)簽。自定義標(biāo)簽是根據(jù)數(shù)據(jù)維度闸准、度量自行生成新標(biāo)簽益愈。每發(fā)布一個(gè)新的標(biāo)簽，就意味著新增加一種數(shù)據(jù)能力。標(biāo)簽是可以直接被外部系統(tǒng)調(diào)取蒸其，例如在CMR中的客戶信息頁(yè)面顯示消費(fèi)者類型（購(gòu)物沖動(dòng)型敏释、目標(biāo)明確型、理性分析型摸袁、猶豫型）钥顽。
CRM常規(guī)功能有客戶管理、潛在客戶管理但惶、業(yè)務(wù)機(jī)會(huì)管理耳鸯、營(yíng)銷活動(dòng)管理、客服記錄管理膀曾。借助大數(shù)據(jù)可以為CRM擴(kuò)展這些能力： 用戶軌跡分析、挖掘潛在用戶阳啥、用戶流失分析添谊、流失用戶挽回、用戶等級(jí)分群察迟、用戶價(jià)值分析等斩狱。大數(shù)據(jù)時(shí)代，CRM也會(huì)同步進(jìn)化扎瓶，不再是單純的業(yè)務(wù)過(guò)程記錄所踊，應(yīng)該是和大數(shù)據(jù)走向融合，大數(shù)據(jù)的分析結(jié)果直接嵌入CRM中概荷，供業(yè)務(wù)人員即時(shí)使用秕岛，但數(shù)據(jù)不會(huì)直接寫(xiě)入大數(shù)據(jù)平臺(tái)，業(yè)務(wù)變更的數(shù)據(jù)還是進(jìn)入CRM系統(tǒng)误证，加工后再匯入大數(shù)據(jù)平臺(tái)
營(yíng)銷平臺(tái)常規(guī)功能有營(yíng)銷全流程管理（推廣計(jì)劃继薛、廣告投放、效果愈捅、人群定向）遏考、費(fèi)用審批、渠道管理蓝谨、短信郵件推送灌具、營(yíng)銷策略、營(yíng)銷執(zhí)行譬巫。 營(yíng)銷平臺(tái)大數(shù)據(jù)應(yīng)用有： 生成種子客戶群咖楣、消費(fèi)者特征分析、消費(fèi)者類型分群（購(gòu)物沖動(dòng)型缕题、目標(biāo)明確型截歉、理性分析型、猶豫型）烟零、渠道衡量瘪松、營(yíng)銷效果分析咸作。 標(biāo)簽庫(kù)的用戶群要能推送到營(yíng)銷平臺(tái)，它們內(nèi)嵌于生產(chǎn)流程宵睦，致力于端到端的解決問(wèn)題记罚，從而真正的賦能于業(yè)務(wù)人員。
CRM壳嚎、營(yíng)銷管理平臺(tái)既是數(shù)據(jù)消費(fèi)者桐智，又是數(shù)據(jù)生產(chǎn)者，DT時(shí)代烟馅，CRM说庭、營(yíng)銷管理平臺(tái)也一起同步進(jìn)化， 大數(shù)據(jù)應(yīng)用和業(yè)務(wù)系統(tǒng)不斷融合郑趁，對(duì)產(chǎn)品架構(gòu)刊驴、技術(shù)架構(gòu)也都是不小的挑戰(zhàn)。
報(bào)表系統(tǒng)說(shuō)一點(diǎn)寡润，為了促進(jìn)業(yè)務(wù)人員經(jīng)忱υ鳎看數(shù)據(jù)報(bào)表，培養(yǎng)數(shù)據(jù)化運(yùn)營(yíng)理念梭纹，除了報(bào)表門戶外躲惰，報(bào)表也要直接嵌入業(yè)務(wù)系統(tǒng)，因?yàn)闃I(yè)務(wù)系統(tǒng)他們是每天都要登錄的变抽，這也是數(shù)據(jù)平臺(tái)和業(yè)務(wù)系統(tǒng)融合的一個(gè)表現(xiàn)础拨。
個(gè)性化PUSH、推薦系統(tǒng)的產(chǎn)品功能比較明確瞬沦，這里就不再贅述太伊。
下面對(duì)數(shù)據(jù)管理平臺(tái)的產(chǎn)品模塊做個(gè)梳理，數(shù)據(jù)管理平臺(tái)是大數(shù)據(jù)產(chǎn)品體系建設(shè)的核心和地基逛钻，實(shí)現(xiàn)數(shù)據(jù)管理僚焦、數(shù)據(jù)開(kāi)發(fā)、以及對(duì)生產(chǎn)過(guò)程的管理曙痘。這些產(chǎn)品模塊不一定全部需求芳悲，視數(shù)據(jù)規(guī)模及進(jìn)化階段而靈活裁剪。
開(kāi)發(fā)管理： SQL開(kāi)發(fā)边坤、Spark開(kāi)發(fā)名扛、作業(yè)調(diào)度、API管理等
數(shù)據(jù)接口：對(duì)外提供數(shù)據(jù)訪問(wèn)能力茧痒，CRM肮韧、營(yíng)銷平臺(tái)可以直接使用數(shù)據(jù)平臺(tái)的數(shù)據(jù)，讓數(shù)據(jù)成果在業(yè)務(wù)系統(tǒng)中落地。
算法平臺(tái)： 解決數(shù)據(jù)開(kāi)發(fā)和挖掘的問(wèn)題弄企，支持分類超燃、聚類、關(guān)聯(lián)拘领、回歸等常見(jiàn)數(shù)據(jù)挖掘算法意乓，用于實(shí)現(xiàn)一些預(yù)測(cè)性標(biāo)簽、做用戶分群约素、個(gè)性化推薦等届良，如果業(yè)務(wù)線很多，還可以對(duì)業(yè)務(wù)線輸出算法能力供其直接使用圣猎，避免另起爐灶士葫。
元數(shù)據(jù)管理： 元數(shù)據(jù)采集、數(shù)據(jù)字典送悔、影響分析为障、血緣分析
質(zhì)量管理：質(zhì)量規(guī)則管理、質(zhì)量規(guī)則檢查放祟、質(zhì)量問(wèn)題管理
運(yùn)維管理： 資源管理、運(yùn)行監(jiān)控
指標(biāo)庫(kù)： 指標(biāo)庫(kù)準(zhǔn)確定義數(shù)據(jù)指標(biāo)的含義呻右、計(jì)算方式跪妥， 例如流失用戶、活躍用戶如何定義声滥，這兩個(gè)指標(biāo)不像PV眉撵、UV有著明確通用的定義，適用于行業(yè)的定義落塑。 指標(biāo)庫(kù)重在企業(yè)內(nèi)部形成統(tǒng)一的指標(biāo)口徑纽疟，避免溝通誤差，影響對(duì)數(shù)據(jù)的解讀憾赁。
日志采集系統(tǒng)需要能夠支持網(wǎng)站污朽、App、微信小程序不同終端的用戶行為數(shù)據(jù)收集龙考，行為包括瀏覽蟆肆、收藏、分享晦款、評(píng)論炎功、搜索、加入購(gòu)物車缓溅、登錄蛇损、注冊(cè)、購(gòu)買等等，盡可能收集所有有價(jià)值的行為數(shù)據(jù)淤齐」赡遥可以使用Facebook開(kāi)源的Scribe，或者Flume床玻、Kibana搭建毁涉。
公網(wǎng)數(shù)據(jù)采集系統(tǒng)就是我們常說(shuō)的網(wǎng)絡(luò)爬蟲(chóng)，從公網(wǎng)上采集微博話題锈死、電商評(píng)論贫堰、行業(yè)數(shù)據(jù)、營(yíng)銷活動(dòng)數(shù)據(jù)等待牵∑淦粒可以采用開(kāi)源軟件自己搭建，也可以購(gòu)買現(xiàn)成的數(shù)據(jù)爬蟲(chóng)服務(wù)缨该。
第三方數(shù)據(jù)對(duì)接平臺(tái)通過(guò)API從微信公眾號(hào)獲取文章閱讀偎行、用戶、用戶留言贰拿、客服記錄等數(shù)據(jù)蛤袒，從廣告系統(tǒng)獲取投放計(jì)劃、投放結(jié)果數(shù)據(jù)膨更。
到此妙真，我們把通用大數(shù)據(jù)平臺(tái)的產(chǎn)品體系梳理了一遍，可以看出來(lái)大數(shù)據(jù)博大精深荚守，非常繁雜珍德，就單個(gè)產(chǎn)品來(lái)說(shuō)工作量都已經(jīng)非常大，不是一朝一夕能夠建成矗漾，但我們先畫(huà)定一個(gè)較合理的藍(lán)圖锈候，擇近期的核心需求先行建設(shè)，然后根據(jù)需要不斷迭代前行敞贡。
