Neil Zhu，簡(jiǎn)書ID Not_GOD，University AI 創(chuàng)始人 & Chief Scientist，致力于推進(jìn)世界人工智能化進(jìn)程。制定并實(shí)施 UAI 中長(zhǎng)期增長(zhǎng)戰(zhàn)略和目標(biāo)奕坟，帶領(lǐng)團(tuán)隊(duì)快速成長(zhǎng)為人工智能領(lǐng)域最專業(yè)的力量祥款。
作為行業(yè)領(lǐng)導(dǎo)者，他和UAI一起在2014年創(chuàng)建了TASA（中國(guó)最早的人工智能社團(tuán)）, DL Center（深度學(xué)習(xí)知識(shí)中心全球價(jià)值網(wǎng)絡(luò)）月杉，AI growth（行業(yè)智庫(kù)培訓(xùn)）等刃跛，為中國(guó)的人工智能人才建設(shè)輸送了大量的血液和養(yǎng)分。此外苛萎，他還參與或者舉辦過各類國(guó)際性的人工智能峰會(huì)和活動(dòng)奠伪，產(chǎn)生了巨大的影響力，書寫了60萬字的人工智能精品技術(shù)內(nèi)容首懈，生產(chǎn)翻譯了全球第一本深度學(xué)習(xí)入門書《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》绊率，生產(chǎn)的內(nèi)容被大量的專業(yè)垂直公眾號(hào)和媒體轉(zhuǎn)載與連載。曾經(jīng)受邀為國(guó)內(nèi)頂尖大學(xué)制定人工智能學(xué)習(xí)規(guī)劃和教授人工智能前沿課程究履，均受學(xué)生和老師好評(píng)滤否。
數(shù)據(jù)科學(xué)家角色
在每個(gè)我曾經(jīng)工作或者指導(dǎo)的組織，總會(huì)發(fā)現(xiàn)數(shù)據(jù)科學(xué)家的影響力和他們的數(shù)量很不相稱最仑。他們可以扮演的角色遍布于以下領(lǐng)域藐俺。
決策科學(xué)和商業(yè)智能
長(zhǎng)期以來，數(shù)據(jù)在廣告領(lǐng)域及協(xié)助運(yùn)作及戰(zhàn)略思維中發(fā)揮重要的作用泥彤。關(guān)于決策制定支撐(decision-making support)的一個(gè)關(guān)鍵部分便是定義欲芹、監(jiān)測(cè)和報(bào)告重要的度量(metric)。盡管這些可能看起來很容易吟吝，但是定義合適的度量可以用來幫助一個(gè)商業(yè)組織了解自身的強(qiáng)項(xiàng)和關(guān)鍵項(xiàng)(此處用杠桿和控制按鈕作比喻)菱父。不經(jīng)設(shè)計(jì)的度量會(huì)導(dǎo)致盲點(diǎn)的產(chǎn)生。例如剑逃，使用百分位數(shù)浙宜，這仍然是觀察原始數(shù)據(jù)的重要方面。同樣也會(huì)跟隨商業(yè)的復(fù)雜化過程不斷增加蛹磺。舉個(gè)例子粟瞬，假設(shè)一個(gè)氣象學(xué)家只能測(cè)量溫度。此人的預(yù)測(cè)結(jié)果肯定會(huì)比另外一個(gè)懂得測(cè)量氣壓的氣象學(xué)家的結(jié)果要差萤捆。當(dāng)然再來一個(gè)懂得使用濕度進(jìn)行預(yù)測(cè)的人又能產(chǎn)生比前面兩個(gè)更好的預(yù)測(cè)結(jié)果裙品。
一旦度量和報(bào)告建立后，數(shù)據(jù)的傳播就成為至關(guān)重要的部分俗或。目前有大量的發(fā)布數(shù)據(jù)的工具市怎，從簡(jiǎn)單的電子表格和網(wǎng)頁表格，到更加精密復(fù)雜的商業(yè)智能產(chǎn)品蕴侣。當(dāng)工具變得越來越精密時(shí)，他們一般會(huì)增加動(dòng)畫和操作的功能來加強(qiáng)對(duì)數(shù)據(jù)的洞察力昆雀。
更多龐大的數(shù)據(jù)驅(qū)動(dòng)組織熱衷于數(shù)據(jù)的民主化辱志。數(shù)據(jù)不僅僅是哪個(gè)分析組織或者管理層獨(dú)享的揩懒。每個(gè)人都應(yīng)當(dāng)能夠合法地使用到盡可能多的數(shù)據(jù)。Facebook在這個(gè)方面走得很遠(yuǎn)已球。他們公司允許任何人使用Hive語言來查詢海量的基于Hadoop存儲(chǔ)的數(shù)據(jù)。以這種方法智亮，基本上每個(gè)人都可以通過定期地運(yùn)行腳本建立個(gè)人的數(shù)據(jù)dashboard。Zynga使用完全不同的技術(shù)組合建立過類似的東西阔蛉。他們有兩個(gè)自己數(shù)據(jù)倉(cāng)庫(kù)的副本。其中一個(gè)用來負(fù)責(zé)需要嚴(yán)格的服務(wù)層協(xié)議來確保報(bào)表和關(guān)鍵度量總是可以獲得的運(yùn)作状原。另一個(gè)則是可以提供給公司內(nèi)人員使用，當(dāng)然這里的性能并不能保證最優(yōu)苗踪。
eBay使用的是更為傳統(tǒng)的模型颠区，一般是像Teradata那樣為每個(gè)團(tuán)隊(duì)建立數(shù)據(jù)立方體。這些立方體就是一些自包含的數(shù)據(jù)集合和存儲(chǔ)通铲，對(duì)應(yīng)的團(tuán)隊(duì)可以與之交互毕莱。
當(dāng)組織使用報(bào)表和分析功能愈來愈和諧，就產(chǎn)生了使用數(shù)據(jù)對(duì)于戰(zhàn)略決策制定的需求颅夺。我們一直將這個(gè)領(lǐng)域稱為“決策科學(xué)”央串。這些團(tuán)隊(duì)鉆入已經(jīng)獲得的數(shù)據(jù)中，將這些數(shù)據(jù)和外部數(shù)據(jù)源進(jìn)行整合來了解競(jìng)爭(zhēng)力的全貌碗啄，優(yōu)先化一些策略和戰(zhàn)略质和，并提供對(duì)戰(zhàn)略計(jì)劃影響的假設(shè)的澄清。一個(gè)決策科學(xué)團(tuán)隊(duì)可能會(huì)遇到一個(gè)問題稚字，像下一個(gè)擴(kuò)展國(guó)家的選擇饲宿，亦或調(diào)查某一特定的市場(chǎng)已經(jīng)飽和。這種分析可能會(huì)需要綜合內(nèi)部的數(shù)據(jù)建立預(yù)測(cè)模型胆描，可以使用已有的數(shù)據(jù)和欲采集數(shù)據(jù)進(jìn)行測(cè)試瘫想。
注意：不熟知數(shù)據(jù)科學(xué)的人們可能會(huì)經(jīng)常尋找一個(gè)銀彈，以此建立整個(gè)系統(tǒng)昌讲。如果你找到了国夜，那么恭喜你，不過幸運(yùn)的人沒有幾個(gè)短绸。最好的組織會(huì)尋找能夠產(chǎn)生最大效益的方法车吹，再在此基礎(chǔ)上尋的可能提高商業(yè)價(jià)值的方法筹裕。
產(chǎn)品和市場(chǎng)分析
產(chǎn)品分析代表一種相對(duì)新穎的數(shù)據(jù)使用方式。團(tuán)隊(duì)會(huì)建立直接和客戶交互的應(yīng)用窄驹，例如:
- 提供高度個(gè)人化的內(nèi)容（如朝卒，一個(gè)新聞feed中的信息的排序）
- 幫助推動(dòng)公司的價(jià)值主張(value proposition)（例如，“PYMK”和其他一些建議好友或者其他類型關(guān)系的應(yīng)用）
- 利于介紹另外的產(chǎn)品（如乐埠，“Group You May Know”）抗斤，將用戶推送至LinkedIn的群體產(chǎn)品區(qū)域）
- 防止進(jìn)入死胡同（如，協(xié)同過濾技術(shù)促成用戶購(gòu)買新的產(chǎn)品丈咐，Amazon的“People who viewed this item also viewed ...”）
- 其他的（如瑞眼，新聞相關(guān)的Google News和LinkedIn Today等等）
基于快速下降的計(jì)算成本，現(xiàn)在比從前更容易使用到通用的算法和數(shù)值技術(shù)來測(cè)試這些產(chǎn)品的有效性棵逊。
類似于產(chǎn)品分析伤疙，市場(chǎng)分析使用數(shù)據(jù)來解釋和展示服務(wù)或者產(chǎn)品的價(jià)值主張掩浙。OKCupid's blog就是一個(gè)市場(chǎng)分析的絕佳例子秸歧，它使用內(nèi)部和外部數(shù)據(jù)源來探討大趨勢(shì)。例如谬墙，有篇關(guān)于使用不同手機(jī)的用戶的性伙伴的數(shù)量的文章经备。iPhone用戶有更多的樂子侵蒙？只有OKCup知道。另一個(gè)文章基于產(chǎn)生的新的聯(lián)系算凿，研究了什么類型的個(gè)人簡(jiǎn)介照片是有吸引力的氓轰。這些文章得到了傳統(tǒng)媒體的報(bào)道浸卦，同時(shí)在社交媒體渠道也得到快速傳播。結(jié)果便是產(chǎn)生了一種市場(chǎng)推廣策略时捌，刺激了新用戶和老客戶數(shù)量增長(zhǎng)撒穷。另一些公司將博客作為市場(chǎng)推廣策略端礼，如Mint入录、LinkedIn僚稿、Facebook和Uber。
Email長(zhǎng)期以來便是公司與當(dāng)前客戶及潛在客戶在線交往的基礎(chǔ)缅刽。使用分析作為郵件投放策略的一部分不是新出來的手段衰猛，但強(qiáng)大的分析的確可以幫助建立提供豐富內(nèi)容的Email推廣項(xiàng)目刹孔。例如，LinkedIn周期性地發(fā)送給客戶他們的社交網(wǎng)絡(luò)的變動(dòng)：新工作卦睹、重要文章發(fā)布结序、新的社交關(guān)系等等徐鹤。如果僅僅是LinkedIn的廣告酪穿，那么這類郵件容易被過濾掉。但是事實(shí)上并非如此救赐，這些郵件的信息都是與客戶息息相關(guān)的经磅，它們是與你認(rèn)識(shí)的人相關(guān)的预厌。類似地，當(dāng)用戶有段時(shí)間不活躍時(shí)苗沧，F(xiàn)acebook使用郵件來鼓勵(lì)用戶回到社交網(wǎng)站上待逞。這些郵件強(qiáng)調(diào)你最相關(guān)的朋友近期進(jìn)行的活動(dòng)网严。因?yàn)槲覀儾淮髸?huì)刪除那些告訴你你的朋友的動(dòng)態(tài)的郵件，所以這種方式格外有效怜庸。
在線犯罪者不希望被發(fā)現(xiàn)垢村。他們盡可能地藏在數(shù)據(jù)之中肝断。在不斷進(jìn)化的攻擊者和防御者之間的戰(zhàn)爭(zhēng)中有幾個(gè)關(guān)鍵的環(huán)節(jié)：數(shù)據(jù)采集、偵測(cè)担扑、攻擊的緩解(mitigation)和司法科學(xué)(forensics)涌献。這些數(shù)據(jù)科學(xué)家的技巧與這些環(huán)節(jié)無瑕結(jié)合首有。
任何防止和偵測(cè)欺詐的策略最初都是從數(shù)據(jù)搜集開始井联。數(shù)據(jù)采集常常是一種挑戰(zhàn)性工作，因?yàn)楹茈y確定多少量的數(shù)據(jù)是足夠的轴捎。攻擊者總是在找尋能夠獲得的數(shù)據(jù)的極限侦副，但是成本和存儲(chǔ)容量的限制意味著不可能搜集到所有你想要的數(shù)據(jù)。因此識(shí)別出那些數(shù)據(jù)是我們所需的是至關(guān)重要的尺碰。在攻擊中亲桥，常常會(huì)有“if only”現(xiàn)象两曼。僅當(dāng)我們搜集到x和y玻驻，我們才能知道將發(fā)生什么偿枕。
另一個(gè)對(duì)安全事件的反應(yīng)的方面是所需要處理數(shù)據(jù)的時(shí)間。如果攻擊以分鐘為單位進(jìn)行演化嗤锉，但處理層需要數(shù)小時(shí)來分析數(shù)據(jù)瘟忱，這樣苫幢，就不能高效地作出反應(yīng)韩肝。許多組織意識(shí)到他們需要數(shù)據(jù)科學(xué)家和精密的工具來足夠快速地處理和分析數(shù)據(jù)。
一旦知道被攻擊涡相，下一個(gè)動(dòng)作便是緩解攻擊催蝗。減輕影響通常需要關(guān)閉一個(gè)資源丙号，或者開發(fā)一個(gè)模型來將壞用戶和正常用戶辨別開來。在這個(gè)環(huán)節(jié)成功需要有將已有數(shù)據(jù)轉(zhuǎn)化為新的可以使用的變量烙无。這是個(gè)微妙而又關(guān)鍵的步驟截酷。例如乾戏，IP地址鼓择。任何日志功能都可以搜集到訪問你網(wǎng)站的IP地址。IP地址本身并沒多大用念搬。但是IP地址可以轉(zhuǎn)化為下列變量：
- 在某段時(shí)間內(nèi)從一個(gè)IP地址發(fā)出訪問的壞用戶
- 一個(gè)IP地址的所屬國(guó)摆出，及其他地理信息
- 這個(gè)IP地址是否是一天中這段時(shí)間的典型
從數(shù)據(jù)中偎漫，我們可以獲得可以構(gòu)造一個(gè)可行的模型的變量。領(lǐng)域?qū)＜胰羰菙?shù)據(jù)科學(xué)家温亲，懂得如何從數(shù)據(jù)中獲得這些變量栈虚。用這些變量节芥，你便可以設(shè)計(jì)檢測(cè)方法來找出壞用戶逆害。
最終，司法科學(xué)(forensics)給出一個(gè)工具箱來抵御攻擊者相艇，并幫助你學(xué)到攻擊的本質(zhì)和了解如何避免（或者限制）未來類似的攻擊坛芽。司法科學(xué)可能是耗時(shí)的過程，數(shù)據(jù)科學(xué)篩過所有數(shù)據(jù)获讳，最終將結(jié)果組合從而獲得解決方案丐膝。一旦問題被擺在一塊钾菊，新的工具煞烫、工程和監(jiān)測(cè)可以按需設(shè)置。
數(shù)據(jù)服務(wù)和運(yùn)營(yíng)
數(shù)據(jù)服務(wù)和運(yùn)營(yíng)是任何數(shù)據(jù)組織的基礎(chǔ)環(huán)節(jié)之一凛俱。這個(gè)團(tuán)隊(duì)負(fù)責(zé)數(shù)據(jù)庫(kù)茵宪、數(shù)據(jù)存儲(chǔ)稀火、數(shù)據(jù)結(jié)構(gòu)（數(shù)據(jù)模式scheme的設(shè)置）和數(shù)據(jù)倉(cāng)庫(kù)凰狞。他們也負(fù)責(zé)監(jiān)測(cè)和保護(hù)這些系統(tǒng)赡若。另一個(gè)功能部分不能離開頂級(jí)數(shù)據(jù)服務(wù)和操作團(tuán)隊(duì)；甚至可以這么說腹纳，組織的其他團(tuán)隊(duì)都是存在于這個(gè)團(tuán)隊(duì)之上嘀趟。一些組織中她按，這些團(tuán)隊(duì)是獨(dú)立于傳統(tǒng)操作團(tuán)隊(duì)的。在我看來媒佣，當(dāng)這些系統(tǒng)復(fù)雜性增加，便需要更多地與操作團(tuán)隊(duì)合作巡验。這個(gè)功能領(lǐng)域提供的這些系統(tǒng)和服務(wù)需要被部署在傳統(tǒng)數(shù)據(jù)中心或者云上，也需要被監(jiān)測(cè)以保證穩(wěn)定性辛辨；員工也應(yīng)該隨時(shí)待命指攒，以防止系統(tǒng)崩潰允悦。建立好的運(yùn)營(yíng)團(tuán)隊(duì)需要在這些領(lǐng)域有配置，以提供對(duì)應(yīng)的服務(wù)全闷。
當(dāng)一個(gè)組織建立起匯報(bào)需求時(shí)，數(shù)據(jù)服務(wù)和運(yùn)營(yíng)團(tuán)隊(duì)需要對(duì)匯報(bào)層負(fù)責(zé)局服。當(dāng)團(tuán)隊(duì)成員可能不會(huì)關(guān)注定義度量時(shí)，他們?cè)诖_保報(bào)告準(zhǔn)時(shí)生成至關(guān)重要搏讶。因此系吩，數(shù)據(jù)服務(wù)和決策科學(xué)的合作是絕對(duì)根本的妒蔚。例如肴盏，當(dāng)一個(gè)度量可以能在紙上很容易定義，但實(shí)現(xiàn)起來作為一個(gè)規(guī)則話的報(bào)表的一部分時(shí)變得不現(xiàn)實(shí)時(shí)：因?yàn)橥瓿蛇@個(gè)報(bào)表的度量的計(jì)算所需要的數(shù)據(jù)庫(kù)查詢太過復(fù)雜而難以達(dá)到所需頻率贞绵。
數(shù)據(jù)工程和基礎(chǔ)架構(gòu)
去輕描淡寫用來規(guī)恼ケ溃化產(chǎn)生章母、跟蹤乳怎、移動(dòng)和處理數(shù)據(jù)的工具的復(fù)雜程度很難。開發(fā)和實(shí)現(xiàn)這些技術(shù)是數(shù)據(jù)工程和基礎(chǔ)架構(gòu)團(tuán)隊(duì)的工作焦辅。過去十年椿胯，這些技術(shù)已經(jīng)發(fā)生了巨大的變化哩盲，其中有若干開源項(xiàng)目的大量合作狈醉。這里舉一些例子：
Kafka苗傅、Flume和Scribe是搜集流數(shù)據(jù)的工具渣慕。盡管這些模型不大相同抱慌，主要想法都是從多個(gè)數(shù)據(jù)源獲得數(shù)據(jù)抑进；聚合數(shù)據(jù)寺渗；然后將數(shù)據(jù)交給數(shù)據(jù)庫(kù)信殊，如Hadoop還有其他一些涡拘。
Hadoop是目前最廣泛使用的處理數(shù)據(jù)的框架须鼎。它是一個(gè)有Google在2004年公開的MapReduce程序設(shè)計(jì)模型的開源實(shí)現(xiàn)晋控。本質(zhì)上是一種批處理赡译；S4和Strom都將目標(biāo)匯聚在一些更新的處理流數(shù)據(jù)的技術(shù)
Azkaban和Oozie是工作調(diào)度器蝌焚，他們管理和協(xié)調(diào)復(fù)雜的數(shù)據(jù)流
Pig和Hive是大型非關(guān)系型數(shù)據(jù)存儲(chǔ)的查詢語言。Hive與SQL非常類似许帐。Pig則是面向數(shù)據(jù)的腳本語言
Voldmort成畦、Cassandra和Hbase是設(shè)計(jì)為高性能大數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)循帐。
同等重要的是為這些系統(tǒng)建立監(jiān)測(cè)和部署技術(shù)拄养。
除了建立基礎(chǔ)架構(gòu)，數(shù)據(jù)工程和基礎(chǔ)架構(gòu)可以使用產(chǎn)品和市場(chǎng)分析團(tuán)隊(duì)的思想瘪匿，實(shí)現(xiàn)這些想法以達(dá)到可以規(guī)模化產(chǎn)品操作的目的茄袖。例如嘁锯，視頻推薦引擎可以使用SQL家乘、Pig或者Hive來建立遠(yuǎn)行仁锯。如果測(cè)試顯示推薦系統(tǒng)效果很好野芒，那么就可以將推薦系統(tǒng)部署讓它支持SLA，表明合適的可獲得性和潛伏性双炕。將產(chǎn)品從原型向產(chǎn)品化移植可能需要重新實(shí)現(xiàn)使得可以規(guī)哪化性能。如果SQL和一個(gè)關(guān)系型數(shù)據(jù)庫(kù)運(yùn)行得很慢妇斤，可能需要移到HBase摇锋，使用Hive或則好Pig來進(jìn)行查詢。一旦應(yīng)用被部署好站超，必須處在監(jiān)測(cè)之下荸恕，來保證其持續(xù)滿足需求。同樣也要確保產(chǎn)生合理的結(jié)果死相。達(dá)到這個(gè)目標(biāo)需要更多高難度的軟件開發(fā)工作融求。
組織和匯報(bào)合作
一個(gè)組織應(yīng)當(dāng)以根據(jù)我討論過的功能領(lǐng)域設(shè)計(jì)，還是通過其他的機(jī)制算撮？沒簡(jiǎn)單的答案。關(guān)鍵點(diǎn)包含參與的人員七芭、組織的大小和規(guī)模和企業(yè)的組織動(dòng)態(tài)（如缩赛，這個(gè)公司是產(chǎn)品驅(qū)動(dòng)、市場(chǎng)驅(qū)動(dòng)還是工程驅(qū)動(dòng)）旨袒。
在發(fā)展早期辉词，人們必須負(fù)責(zé)很多工作。例如赡勘，在一個(gè)初創(chuàng)公司曼振，不可能負(fù)擔(dān)起分析映胁、安全抛人、運(yùn)營(yíng)和架構(gòu)等分開的團(tuán)隊(duì)：一兩個(gè)人可能需要做所有的事情。但是當(dāng)一個(gè)組織變大了寂恬，人們自然會(huì)變得專業(yè)化。另外，去除任何簡(jiǎn)單的失敗點(diǎn)很重要眠寿。一些組織使用“精英個(gè)體中心模型”例嘱，這是一種中心化數(shù)據(jù)團(tuán)隊(duì)奢浑。其他的使用一個(gè)集成和說話模型徊哑，這種是指有一個(gè)中央團(tuán)隊(duì)，成員被安進(jìn)支撐團(tuán)隊(duì)種（例如，銷售團(tuán)隊(duì)可能會(huì)支持分析團(tuán)隊(duì)來支撐商業(yè)需求）昏名。還有一些組織完全去中心化，每個(gè)團(tuán)隊(duì)自己雇用滿足自身需求的員工夫壁。
以下三點(diǎn)是我的感受：
- 如果團(tuán)隊(duì)較小司蔬，成員應(yīng)當(dāng)坐在一起。與數(shù)據(jù)打交道常常有很多理解差異，團(tuán)隊(duì)之間的快速交流可以解決那些折磨人卻很簡(jiǎn)單的問題彤路。
- 授人以漁——這只會(huì)增強(qiáng)成為更好的數(shù)據(jù)驅(qū)動(dòng)組織奈偏。如前面討論過的唁盏，像Facebook和Zynga這樣的組織高效地民主化自己的數(shù)據(jù)厘擂。于是，這些公司有更多的人員參與到分析和觀察關(guān)鍵度量的工作。這樣的獲得方式在50年前根本不可能聽到。當(dāng)然這樣也有另外一面：對(duì)于基礎(chǔ)架構(gòu)和訓(xùn)練人員的需求提高了线婚『绺基礎(chǔ)架構(gòu)挑戰(zhàn)是技術(shù)問題咒彤，最簡(jiǎn)單的達(dá)到訓(xùn)練的方式是開設(shè)辦公室時(shí)間并計(jì)劃數(shù)據(jù)課程。
- 所有那些功能領(lǐng)域必須有定期的聯(lián)絡(luò)和交流渠啊。當(dāng)數(shù)據(jù)科學(xué)的領(lǐng)域不斷擴(kuò)大它浅，技術(shù)和過程創(chuàng)新不可避免同樣得到發(fā)展。為了保持同步性，所有團(tuán)隊(duì)都應(yīng)當(dāng)分享自己的經(jīng)驗(yàn)。即使他們不是同一結(jié)構(gòu)急迂，共同使用的數(shù)據(jù)將他們綁在一起。
