什么是中臺
最近一段時(shí)間淤毛，"中臺"這個(gè)概念火起來负芋。感覺過去幾年沒人提的東西环葵，一下子成為了眾人口中的"我們公司已經(jīng)做好多年"的產(chǎn)品调窍。當(dāng)然，很簡單就能查到阿里在15年就提出過"大中臺积担，小前臺"的定義，大力發(fā)展中臺猬仁，但是帝璧，很多公司還走在平臺化的路上，中臺湿刽，還只是概念的烁。
在公開的資料里，對中臺沒有什么明確的定義(一如"云"的定義一樣诈闺，籠統(tǒng)概括)渴庆，按照我的理解，就是前臺(具體業(yè)務(wù))與后臺(基礎(chǔ)服務(wù))之間的雅镊，既貼近業(yè)務(wù)襟雷，又能抽取共性的部分組成的。核心詞是通仁烹，把公司各個(gè)產(chǎn)品從孤舟鏈接起來耸弄，鐵鎖連舟，互通有無卓缰。
中臺包括業(yè)務(wù)中臺计呈，移動中臺和數(shù)據(jù)中臺
- 業(yè)務(wù)中臺
公司中各個(gè)產(chǎn)品的用戶信息/訂單/支付等信息打通，更利于子產(chǎn)品的發(fā)展征唬。 - 移動中臺
一如開發(fā)游戲的unity引擎捌显，移動中臺的重點(diǎn)是平臺無關(guān)，包括客戶端開發(fā)框架/網(wǎng)絡(luò)/測試/運(yùn)維/消息推送等內(nèi)容总寒。能做到快速適應(yīng)各種平臺扶歪。 - 數(shù)據(jù)中臺
對數(shù)據(jù)比較熟悉，數(shù)據(jù)中臺重點(diǎn)說一下摄闸。
數(shù)據(jù)中臺
如果說業(yè)務(wù)是按產(chǎn)品獨(dú)立的击罪，那數(shù)據(jù)就有可能是按照功能獨(dú)立的哲嘲。數(shù)據(jù)孤島現(xiàn)象非常明顯，使用數(shù)據(jù)難度很大媳禁。在此基礎(chǔ)上眠副，數(shù)據(jù)中臺應(yīng)運(yùn)而生。
一言以蔽之竣稽，數(shù)據(jù)中臺囱怕，就是和數(shù)據(jù)相關(guān)的內(nèi)容整合到一起，對外提供一站式的數(shù)據(jù)服務(wù)毫别。
數(shù)據(jù)相關(guān)的內(nèi)容娃弓，包括
- 基礎(chǔ)服務(wù)
基本的大數(shù)據(jù)框架，Hadoop岛宦，spark台丛，hbase，等的安裝優(yōu)化維護(hù)砾肺。
作為服務(wù)器的硬件挽霉，依然可以由基礎(chǔ)架構(gòu)部門負(fù)責(zé)。
- 日志規(guī)范
對公司各個(gè)產(chǎn)品的日志制定唯一規(guī)范变汪，包括共用日志統(tǒng)一名稱侠坎，非共有日志命名規(guī)則等。 -
數(shù)據(jù)倉庫
數(shù)據(jù)接入裙盾，ETL实胸，數(shù)據(jù)倉庫，數(shù)據(jù)主題番官。 -
數(shù)據(jù)分析/數(shù)據(jù)挖掘/用戶畫像
全局分析/產(chǎn)品分析/公共畫像/產(chǎn)品畫像庐完。 -
數(shù)據(jù)工具
報(bào)表系統(tǒng)/多維查詢系統(tǒng)/元數(shù)據(jù)/調(diào)度/質(zhì)量監(jiān)控。
數(shù)據(jù)流程以及工具平臺架構(gòu)圖:
雖然這就是一個(gè)標(biāo)準(zhǔn)的數(shù)據(jù)流圖徘熔，但是對于不同時(shí)間段假褪，不同數(shù)據(jù)量級，不同需求緊急度的公司近顷，當(dāng)然有不同的處理架構(gòu)方法生音。
想象一下下面幾個(gè)公司，應(yīng)該怎么辦窒升。
- 初創(chuàng)公司缀遍，產(chǎn)品上線只有需要看到數(shù)據(jù)
- 拿到融資，產(chǎn)品穩(wěn)定饱须，用戶量上來了域醇，基于更方便以及更安全的角度考慮，需要自建數(shù)據(jù)中心。
- 已經(jīng)有數(shù)據(jù)團(tuán)隊(duì)譬挚，和比較成熟的大數(shù)據(jù)平臺锅铅。
我的建議
- 接入第三方統(tǒng)計(jì)平臺，比如GA减宣，百度統(tǒng)計(jì)盐须，友盟等，根據(jù)規(guī)則發(fā)送數(shù)據(jù)漆腌，查看統(tǒng)計(jì)結(jié)果贼邓。
- 從無到有，需要一個(gè)時(shí)間闷尿，直接給一個(gè)完整的數(shù)據(jù)架構(gòu)圖塑径，因?yàn)闁|西太多，讓人有無從下手之感填具，可能一個(gè)季度過去了统舀，還沒有什么產(chǎn)出，期間業(yè)務(wù)團(tuán)隊(duì)怎們辦劳景。這種情況下誉简，要雙管齊下，按部就班搭建數(shù)據(jù)中心平臺工具的時(shí)候枢泰，另外建立數(shù)據(jù)流描融，沒有flume+kafka收集數(shù)據(jù)铝噩，就定時(shí)在業(yè)務(wù)服務(wù)器scp/rsync數(shù)據(jù)到數(shù)據(jù)服務(wù)器衡蚂，沒有mr/spark來做解析，就手寫java/python甚至shell來解析骏庸，聚合數(shù)據(jù)毛甲，沒有olap平臺，就把數(shù)據(jù)寫到mysql里具被，進(jìn)行展示玻募。數(shù)據(jù)建設(shè)的過程，不應(yīng)該影響業(yè)務(wù)團(tuán)隊(duì)的數(shù)據(jù)使用一姿。(自從16年開源的clickhouse問世之后七咧，這個(gè)過程變得簡單太多了)。
- 沒說的叮叹，根據(jù)需求艾栋，缺什么模塊就加什么模塊吧。
總之蛉顽，數(shù)據(jù)工作不是一成不變的蝗砾，因地制宜才能更好的建設(shè)。
小結(jié)
這些所有的事情，都不是新的工作內(nèi)容悼粮。數(shù)據(jù)從產(chǎn)生到使用闲勺，線路很長，不同部門的人都參與其中的不同模塊扣猫，每個(gè)人只關(guān)注自己負(fù)責(zé)這一小塊菜循，知其然不知其所以然，想了解更多苞笨，橫跨多個(gè)部門的結(jié)構(gòu)也讓人望而卻步债朵，對個(gè)公司以及個(gè)人發(fā)展都不友好。如果大家在一個(gè)架構(gòu)里面瀑凝，獨(dú)立于業(yè)務(wù)來對數(shù)據(jù)進(jìn)行處理序芦，才真是一站式的數(shù)據(jù)服務(wù)。
