“本文從非常宏觀的視角來(lái)闡述數(shù)據(jù)價(jià)值鹰晨∮遣啵”
歡迎關(guān)注公眾號(hào)：曉陽(yáng)的數(shù)據(jù)小站
|0x00 數(shù)據(jù)驅(qū)動(dòng)的本質(zhì)
什么是數(shù)據(jù)年枕？在大多數(shù)人的看法中标捺，只有“數(shù)字”才能稱(chēng)之為“數(shù)據(jù)”懊纳，或者是必須由數(shù)字來(lái)組成的東西，其實(shí)不然亡容。數(shù)據(jù)的概念要比數(shù)字大的多嗤疯，例如在互聯(lián)網(wǎng)上，不論是我們看過(guò)的新聞（文本）闺兢、朋友圈的動(dòng)態(tài)（圖片）還是正在追的電視劽俊（視頻），這些都是數(shù)據(jù)屋谭。更加廣義一些脚囊，醫(yī)院中的診療檔案、建筑工人使用的圖紙桐磁，這些也都稱(chēng)之為數(shù)據(jù)悔耘。
講到數(shù)據(jù)，又不能不提到“信息”我擂。剛才提到的那些內(nèi)容衬以，本質(zhì)上也是信息缓艳，所以“數(shù)據(jù)” = “信息”。但其實(shí)數(shù)據(jù)和信息還是存在一定不同的地方看峻，數(shù)據(jù)記錄了事物的客觀屬性阶淘，需要經(jīng)過(guò)加工處理或者解讀之后，才能成為信息互妓。因此可以這么講溪窒，在于雖然數(shù)據(jù)承載了信息，但并非所有的數(shù)據(jù)都承載了有意義的信息车猬。
很多時(shí)候霉猛，我們無(wú)法直接解讀數(shù)據(jù)，因?yàn)樵嫉臄?shù)據(jù)是沒(méi)有意義的珠闰，但我們可以通過(guò)一些數(shù)學(xué)模型惜浅，將數(shù)據(jù)進(jìn)行量化，從而間接的獲得信息伏嗜。在互聯(lián)網(wǎng)行業(yè)中坛悉，大多數(shù)的數(shù)據(jù)模型都離不開(kāi)概率和統(tǒng)計(jì)學(xué)的知識(shí)，因此不論是基礎(chǔ)面試承绸、還是算法/分析崗位裸影，對(duì)于數(shù)據(jù)能力的要求都非常高，本質(zhì)就是因?yàn)閿?shù)學(xué)才是數(shù)據(jù)從業(yè)者的根本競(jìng)爭(zhēng)力军熏。
那么為什么現(xiàn)在的行業(yè)發(fā)展轩猩，因?yàn)閿?shù)據(jù)而變得不同了呢？最大的原因荡澎，在于“大數(shù)據(jù)”的出現(xiàn)均践，通過(guò)海量的、過(guò)去所無(wú)法想象的數(shù)據(jù)量摩幔，讓計(jì)算機(jī)具備了一些人類(lèi)的能力彤委，讓過(guò)去只能通過(guò)經(jīng)驗(yàn)主觀判斷的東西，變得客觀了起來(lái)或衡。
“讓計(jì)算機(jī)具備人類(lèi)的能力”焦影，具體而言，指的就是“數(shù)學(xué)模型”封断。
過(guò)去的數(shù)學(xué)模型主要是指統(tǒng)計(jì)學(xué)的方法斯辰，典型的例子就是美國(guó)大選的民調(diào)問(wèn)題。但統(tǒng)計(jì)學(xué)的結(jié)論要準(zhǔn)確坡疼，離不開(kāi)兩個(gè)核心的因素：一個(gè)是數(shù)據(jù)量要足夠的多椒涯，一個(gè)是樣本要足夠的有代表性。數(shù)據(jù)量足夠多好理解回梧，而有代表性很多人就不是那么理解了废岂，如果看看1936年蓋洛普預(yù)測(cè)羅斯福獲勝的例子，你就會(huì)明白“代表性”的重要了狱意。
今天我們都在講數(shù)據(jù)埋點(diǎn)湖苞，你設(shè)計(jì)的方案，真的有代表性嗎详囤？
但僅僅依靠統(tǒng)計(jì)學(xué)财骨，只能解決簡(jiǎn)單的問(wèn)題，而無(wú)法解決一些相對(duì)復(fù)雜的問(wèn)題藏姐。引申一下隆箩，就是依靠統(tǒng)計(jì)學(xué)做的報(bào)表系統(tǒng)，只能解決基礎(chǔ)的業(yè)務(wù)問(wèn)題羔杨，而無(wú)法解決諸如供需匹配的復(fù)雜問(wèn)題捌臊。
這個(gè)時(shí)候，數(shù)據(jù)模型就登場(chǎng)了兜材，大多數(shù)的復(fù)雜業(yè)務(wù)應(yīng)用理澎，是通過(guò)數(shù)據(jù)來(lái)建立一個(gè)數(shù)學(xué)模型，來(lái)解決復(fù)雜問(wèn)題曙寡。但數(shù)據(jù)模型同樣存在兩個(gè)核心因素：采用什么樣的模型糠爬，以及模型的參數(shù)是多少？
真實(shí)的情況中举庶，模型的選擇是一件很困難的事情执隧，因?yàn)楹?jiǎn)單的模型不一定會(huì)與現(xiàn)實(shí)情況匹配，而復(fù)雜的模型往往需要耗費(fèi)非常長(zhǎng)的時(shí)間來(lái)尋找户侥。過(guò)去不論是在理論上還是工程上镀琉，大家都寄希望于找到一個(gè)比較完美的模型，然后通過(guò)調(diào)整參數(shù)來(lái)讓模型的結(jié)果與之前統(tǒng)計(jì)到的結(jié)果相匹配起來(lái)添祸，這其實(shí)就是“機(jī)器學(xué)習(xí)”要做的事情滚粟。
但不是所有的業(yè)務(wù)都能找到完美的模型，所以有些人就考慮通過(guò)把一些簡(jiǎn)單的模型組合在一起刃泌，達(dá)到完美模型的同樣效果凡壤，而如果數(shù)據(jù)量足夠，這種方法是可行的耙替，這就是“數(shù)據(jù)驅(qū)動(dòng)”亚侠。
數(shù)據(jù)驅(qū)動(dòng)的前提就是存在大量的數(shù)據(jù)，而不是有預(yù)設(shè)的模型俗扇，然后通過(guò)組合簡(jiǎn)單模型的方式來(lái)達(dá)到與真實(shí)模型同樣的效果硝烂。盡管這種方法在數(shù)據(jù)量不夠的時(shí)候，與真實(shí)模型會(huì)存在偏差铜幽，但如果這個(gè)偏差是在誤差允許的范圍內(nèi)滞谢，那么結(jié)果上看就是與真實(shí)模型等效的串稀。有興趣的可以學(xué)習(xí)一下切比雪夫定理，這么做是有一定數(shù)學(xué)根據(jù)的狮杨。
當(dāng)然母截，數(shù)據(jù)驅(qū)動(dòng)想要成功，除了數(shù)據(jù)量之外橄教，還需要數(shù)據(jù)具有足夠的代表性清寇，在大數(shù)據(jù)技術(shù)出現(xiàn)之前，這是很難的护蝶，但隨著實(shí)時(shí)华烟、反作弊等技術(shù)的不斷進(jìn)步，清洗出一批有代表性的數(shù)據(jù)持灰，還是可以做到的盔夜。
所以，我們對(duì)大數(shù)據(jù)搅方、或者說(shuō)數(shù)據(jù)驅(qū)動(dòng)的認(rèn)識(shí)比吭，不應(yīng)該只停留在統(tǒng)計(jì)報(bào)表上，或者停留在提供輔助決策上姨涡，而應(yīng)該看到它和摩爾定律衩藤、數(shù)學(xué)模型一起，催生了機(jī)器智能的發(fā)展涛漂，而機(jī)器一旦產(chǎn)生了和人類(lèi)類(lèi)似的智能赏表，就將對(duì)人類(lèi)社會(huì)產(chǎn)生重大的影響，這才應(yīng)該是我們的職業(yè)追求匈仗。
接下來(lái)瓢剿，我們講一下，大數(shù)據(jù)與信息論的關(guān)系悠轩。
|0x01 從信息論看大數(shù)據(jù)
大數(shù)據(jù)是為了解決什么問(wèn)題间狂？從根本上講，是為了解決世界的不確定性問(wèn)題火架。量子力學(xué)從物理上解釋了客觀世界的不確定性鉴象，為什么大數(shù)學(xué)站到了歷史的巔峰之上，就是因?yàn)榇髷?shù)據(jù)能夠解決這些不確定性問(wèn)題何鸡，從而實(shí)現(xiàn)我們心中所設(shè)想的“智能時(shí)代”纺弊。
從這個(gè)角度上，我們就能夠理解大數(shù)據(jù)的4V特征：Volume（大量）骡男、Variety（多樣）淆游、Velocity（高速）、Value（價(jià)值），為什么這么重要了犹菱。
首先談大數(shù)據(jù)的“量”拾稳。數(shù)據(jù)量大的重要性，體現(xiàn)在兩個(gè)方面已亥，一個(gè)是前文提到的熊赖，用足夠的量來(lái)消除信息的不確定性；第二個(gè)是虑椎，即便數(shù)據(jù)是有代表性的，但因?yàn)閿?shù)據(jù)本身的隨機(jī)性俱笛，會(huì)導(dǎo)致噪聲情況的存在捆姜，只有足夠多的數(shù)據(jù)才能將結(jié)果的置信度提上去。因此當(dāng)某個(gè)領(lǐng)域的數(shù)據(jù)量迅速積攢起來(lái)之后迎膜，某個(gè)領(lǐng)域的研究進(jìn)展就可以很快的提升起來(lái)泥技，成果也就更容易看得到。像自然語(yǔ)言識(shí)別磕仅、人臉識(shí)別珊豹、基因檢測(cè)等領(lǐng)域，無(wú)不是數(shù)據(jù)量決定了研究的速度榕订。
其次談大數(shù)據(jù)的“多樣”店茶。多樣的重要性也體現(xiàn)在兩個(gè)方面，一個(gè)是越來(lái)越多的非結(jié)構(gòu)化數(shù)據(jù)劫恒，隨著技術(shù)的進(jìn)步贩幻，變得結(jié)構(gòu)化起來(lái)。早期的結(jié)構(gòu)化數(shù)據(jù)通常是指文本類(lèi)數(shù)據(jù)两嘴，如電子郵件丛楚、文檔等，隨著互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的發(fā)展憔辫，又?jǐn)U展到音頻趣些、圖片、視頻等結(jié)構(gòu)贰您，通過(guò)更多樣化的方式來(lái)描述客觀的世界坏平。另一個(gè)是大數(shù)據(jù)通常是多維度的，能夠?qū)τ?jì)算的結(jié)果進(jìn)行“交叉驗(yàn)證”枉圃，這可能是數(shù)據(jù)科學(xué)家在進(jìn)行統(tǒng)計(jì)分析時(shí)最重要的技術(shù)之一功茴。可以說(shuō)孽亲，大數(shù)據(jù)“多樣”的重要性坎穿，是有信息論做理論基礎(chǔ)的。
再談大數(shù)據(jù)的“高速”。高速的意義玲昧，在于過(guò)去因?yàn)橛?jì)算量太大栖茉，導(dǎo)致的不能實(shí)現(xiàn)的、或者是只能依賴(lài)超算實(shí)現(xiàn)的東西孵延，變得更加普及和常見(jiàn)了吕漂。比如通過(guò)無(wú)數(shù)數(shù)據(jù)喂出來(lái)的“谷歌大腦”，或者是PageRank算法算出來(lái)的更加準(zhǔn)確的搜索結(jié)果尘应，使得計(jì)算瓶頸不再成為限制模型的主要因素惶凝。高速的另一個(gè)意義是數(shù)據(jù)的時(shí)效性越來(lái)越強(qiáng)，各種實(shí)時(shí)技術(shù)的出現(xiàn)使得我們獲取信息犬钢、做出實(shí)時(shí)決斷的能力大大提升了苍鲜。
最后談一下大數(shù)據(jù)的“價(jià)值”。從信息論的角度來(lái)看玷犹，有一個(gè)很重要的概念混滔，叫作：“交叉熵”，這個(gè)概念并非由香農(nóng)提出歹颓，而是由庫(kù)爾貝克等人提出坯屿。它可以反映兩個(gè)信息源之間的一致性，或者兩種概率模型之間的一致性巍扛。當(dāng)兩個(gè)數(shù)據(jù)源完全一致時(shí)领跛，它們的交叉熵等于零；當(dāng)它們相差很大時(shí)电湘，交叉熵也很大隔节。所有采用數(shù)據(jù)驅(qū)動(dòng)的方法，建立模型所使用的數(shù)據(jù)和使用模型的數(shù)據(jù)之間需要有一致性寂呛，也就是蓋洛普所講的代表性怎诫，否則這種方法就會(huì)失效，而交叉熵就是對(duì)這種代表性或者一致性的一種精確的量化度量贷痪。在過(guò)去幻妓，使用任何基于概率統(tǒng)計(jì)的模型都會(huì)有很多小概率事件覆蓋不到，這在過(guò)去被認(rèn)為是數(shù)據(jù)驅(qū)動(dòng)方法的死穴劫拢。這些漏網(wǎng)的情況反映到交叉熵時(shí)肉津，它的值就會(huì)達(dá)到無(wú)窮大，也就是說(shuō)數(shù)據(jù)驅(qū)動(dòng)方法在這個(gè)時(shí)候就失效了舱沧。而在大數(shù)據(jù)時(shí)代妹沙，在某個(gè)領(lǐng)域里獲得數(shù)據(jù)的完備性還是可能的，就相當(dāng)于訓(xùn)練模型的數(shù)據(jù)集合和使用這個(gè)模型的測(cè)試集合熟吏，是同一個(gè)集合或者是高度重復(fù)的距糖，這樣玄窝，它們的交叉熵近乎零。這種情況就不會(huì)出現(xiàn)覆蓋不了很多小概率事件的災(zāi)難悍引，這樣的數(shù)據(jù)驅(qū)動(dòng)方法才具有普遍性恩脂，而不再是時(shí)靈時(shí)不靈的方法論。
由此可見(jiàn)趣斤，大數(shù)據(jù)通過(guò)信息論作為基礎(chǔ)理論俩块，利用信息消除不確定性，因此從更高的維度對(duì)一些傳統(tǒng)產(chǎn)業(yè)產(chǎn)生了降維打擊浓领。雖然人類(lèi)使用信息由來(lái)已久玉凯，但是到了大數(shù)據(jù)時(shí)代，量變帶來(lái)質(zhì)變联贩，以至于人們忽然發(fā)現(xiàn)壮啊，采用信息論的思維方式可以讓過(guò)去很多難題迎刃而解。
接下來(lái)我們?cè)僦v一下互聯(lián)網(wǎng)公司的數(shù)據(jù)生意撑蒜。
|0x02 互聯(lián)網(wǎng)公司的數(shù)據(jù)生意
我們經(jīng)常講，一個(gè)商業(yè)模型玄渗，成熟與否的標(biāo)志之一座菠，就是賺不賺錢(qián)。就像人工智能長(zhǎng)期沒(méi)有商業(yè)應(yīng)用藤树，因此一直是被批評(píng)的浴滴、不成熟的產(chǎn)業(yè)。
如果我們看互聯(lián)網(wǎng)企業(yè)用數(shù)據(jù)賺錢(qián)的歷史岁钓，就是一個(gè)“由輕到重升略、由淺到深”的過(guò)程：過(guò)去是通過(guò)在線化來(lái)獲取流量，再用流量取得經(jīng)濟(jì)規(guī)模的紅利屡限；現(xiàn)在是使用數(shù)據(jù)來(lái)深耕一些行業(yè)品嚣，挖掘更深的價(jià)值點(diǎn)。
網(wǎng)上比較公認(rèn)的意見(jiàn)钧大，是可以將中國(guó)互聯(lián)網(wǎng)的發(fā)展分成四個(gè)階段：門(mén)戶網(wǎng)站時(shí)代翰撑、BAT時(shí)代、移動(dòng)互聯(lián)網(wǎng)時(shí)代和IOT時(shí)代啊央。
門(mén)戶網(wǎng)站時(shí)代的代表是新浪眶诈、搜狐、網(wǎng)易瓜饥，有點(diǎn)“御三家”的感覺(jué)逝撬。這個(gè)時(shí)候使用數(shù)據(jù)的方式比較簡(jiǎn)單，就是把網(wǎng)站的流量賣(mài)給品牌廣告乓土。
BAT時(shí)代的代表是百度宪潮、阿里巴巴和騰訊溯警，分別從人和信息、人和商品坎炼、人和人的角度愧膀，將人與數(shù)據(jù)連接了起來(lái)。這個(gè)階段使用數(shù)據(jù)的方式就高級(jí)了很多谣光，通過(guò)檢索全網(wǎng)的內(nèi)容檩淋，利用數(shù)據(jù)挖掘人的行為意圖，再將合適的廣告推薦給合適的人萄金。百度是競(jìng)價(jià)排名蟀悦、阿里是電商廣告，二者的本質(zhì)是把流量賣(mài)給第三方氧敢。但騰訊更進(jìn)一步日戈，做了中國(guó)科技互聯(lián)網(wǎng)領(lǐng)域里的第一次突破，也就是用自己的流量去分銷(xiāo)自己的虛擬產(chǎn)品孙乖，比如游戲浙炼。
移動(dòng)互聯(lián)網(wǎng)時(shí)代的代表就是頭條系、快手這一類(lèi)的公司了唯袄。隨著信息分發(fā)效率的提升弯屈，更多的人被低成本的鏈接到了互聯(lián)網(wǎng)的世界，大爺大媽第一次加入了其中恋拷，新的流量產(chǎn)生了资厉，新的機(jī)會(huì)也就到來(lái)了。
但這個(gè)時(shí)代還有一些其他的代表蔬顾，幾家“重資產(chǎn)”的互聯(lián)網(wǎng)公司興起了宴偿。美團(tuán)擁有50多萬(wàn)騎手，小米更是自己開(kāi)始造手機(jī)诀豁，廣義上窄刘，蔚來(lái)和大疆這一類(lèi)的公司，也可以囊括進(jìn)來(lái)且叁。與過(guò)去輕資產(chǎn)的公司不同的是都哭，這一類(lèi)的公司獲取流量、使用數(shù)據(jù)的方式更重了逞带，因?yàn)閿?shù)據(jù)直接與線下的物產(chǎn)生了關(guān)聯(lián)欺矫。同時(shí)，這些公司依靠產(chǎn)品帶來(lái)的連接和流量展氓，以及它對(duì)用戶數(shù)據(jù)的深層理解穆趴，有機(jī)會(huì)創(chuàng)造更大價(jià)值。
IOT時(shí)代遇汞，目前更看好華為一些未妹，鴻蒙大有可為簿废。
整個(gè)中國(guó)互聯(lián)網(wǎng)發(fā)展的主旋律，就是一個(gè)流量獲取由輕到重络它、價(jià)值變現(xiàn)由淺到深的過(guò)程族檬。目的都是通過(guò)建立連接獲取流量，再去取得經(jīng)濟(jì)收益化戳，這個(gè)就是中國(guó)流量型公司的方法論单料。
對(duì)行業(yè)的投入越來(lái)越重，對(duì)數(shù)據(jù)的理解越來(lái)越深点楼，數(shù)據(jù)改造商業(yè)的潛力扫尖，也就越來(lái)越大。
|0xFF 數(shù)據(jù)信仰
很多大佬開(kāi)始強(qiáng)調(diào)“數(shù)據(jù)信仰”掠廓，不僅因?yàn)闅W洲的GDPR法規(guī)開(kāi)啟了數(shù)據(jù)個(gè)人資產(chǎn)時(shí)代换怖，也是因?yàn)榱髁吭絹?lái)越重、算法越來(lái)越專(zhuān)業(yè)蟀瞧、數(shù)據(jù)越來(lái)越實(shí)時(shí)的今天沉颂，單純的極致思維已經(jīng)不能滿足用戶了，而需要像互聯(lián)網(wǎng)剛誕生那樣悦污，帶來(lái)體驗(yàn)的成倍增長(zhǎng)兆览，從整個(gè)流程上徹底滿足用戶，并突破臨界點(diǎn)塞关，才能實(shí)現(xiàn)突破∽咏恚可以這么說(shuō)帆赢，體系的變化，才是用戶下定決心的根本理由线梗；對(duì)數(shù)據(jù)有信仰椰于，才可能打開(kāi)新的創(chuàng)新之路。
反映到具體的公司業(yè)務(wù)上仪搔，就是現(xiàn)代市場(chǎng)越來(lái)越弱化職能瘾婿，強(qiáng)調(diào)發(fā)現(xiàn)機(jī)會(huì)、解決問(wèn)題的能力烤咧。當(dāng)工具越來(lái)越完善的時(shí)候偏陪，要么向上走，打業(yè)務(wù)煮嫌；要么向下走笛谦，拼技術(shù)；而過(guò)去吃到了技術(shù)紅利的技術(shù)中產(chǎn)階級(jí)昌阿，則會(huì)逐步消失饥脑。
我們現(xiàn)在越來(lái)越強(qiáng)調(diào)“企業(yè)數(shù)字化轉(zhuǎn)型”恳邀，為什么企業(yè)會(huì)存在數(shù)字化的問(wèn)題？用大佬的話講：能把企業(yè)的信息拉通起來(lái)看灶轰，其實(shí)就已經(jīng)很不容易了谣沸。因此企業(yè)數(shù)字化的本質(zhì)，還是把企業(yè)自己的一些要素變成數(shù)據(jù)笋颤，然后通過(guò)一些成熟的模型來(lái)解讀這些數(shù)據(jù)乳附，從而“部分”避免過(guò)去經(jīng)驗(yàn)主義帶來(lái)的弊病，讓企業(yè)的決策更加理性一些椰弊。
之前有人提出過(guò)疑問(wèn)许溅，就是天天做開(kāi)發(fā)，哪有時(shí)間做創(chuàng)新秉版，晉升為什么一定要看重創(chuàng)新贤重。大佬的回復(fù)也很簡(jiǎn)練：你的努力反映在績(jī)效上，但晉升必須要有所創(chuàng)新清焕〔⒒龋回到數(shù)據(jù)信仰上，這種創(chuàng)新就是找到使用數(shù)據(jù)秸妥，解決問(wèn)題或帶動(dòng)增長(zhǎng)的方法滚停，并且要有一定的壁壘，防止別人搶了粥惧，也需要有拉通的能力键畴。所以，運(yùn)氣很重要突雪，但碰到運(yùn)氣后實(shí)現(xiàn)的能力也很重要起惕。這就像pubg這款游戲，槍法重要咏删、運(yùn)營(yíng)重要惹想，但圈運(yùn)、對(duì)手行動(dòng)的時(shí)機(jī)督函，也很重要嘀粱。
后話：
本文是讀書(shū)筆記整理而成的，從數(shù)據(jù)驅(qū)動(dòng)是什么辰狡，一直講到互聯(lián)網(wǎng)公司的生意經(jīng)锋叨，再講到一些職場(chǎng)問(wèn)題。其實(shí)前后的邏輯性未必有多強(qiáng)宛篇，但整理這些信息的過(guò)程悲柱，對(duì)自己的啟發(fā)還是挺大的，至少PPT的素材有了些己。很多時(shí)候豌鸡，技術(shù)是我們數(shù)據(jù)人的硬技能嘿般，但平時(shí)多讀書(shū)，學(xué)一些天下大勢(shì)涯冠、哲學(xué)盡頭一類(lèi)的軟技能炉奴，用來(lái)給自己的談吐言行做一些修飾，也是很重要的蛇更。畢竟工作十年瞻赶、二十年之后，你過(guò)去熬了多少夜恐怕不會(huì)有人關(guān)心派任，但你能講出什么道理砸逊，卻是別人對(duì)你敬重有加的關(guān)鍵。
