? ? ? ? 大數(shù)據(jù)挖掘中最重要的是決定挖掘什么樣的知識(shí)章贞，這是在數(shù)據(jù)的收集尿招、處理、挖掘的整個(gè)過程中都需要認(rèn)真考慮的問題阱驾。本文首先提出大數(shù)據(jù)挖掘的幾項(xiàng)策略就谜，即盡量設(shè)想挖掘的場(chǎng)景，盡量多方面收集數(shù)據(jù)里覆，盡量將數(shù)據(jù)整合丧荐，悉心觀察數(shù)據(jù)特征。之后結(jié)合自己在互聯(lián)網(wǎng)搜索中的大數(shù)據(jù)挖掘工作經(jīng)驗(yàn)喧枷，分享對(duì)這些策略的體會(huì)虹统。最后介紹一個(gè)互聯(lián)網(wǎng)搜索中大規(guī)模日志數(shù)據(jù)挖掘的工作，展示大數(shù)據(jù)挖掘的威力隧甚，呈現(xiàn)大數(shù)據(jù)挖掘的挑戰(zhàn)车荔。
1. “挖什么”與“怎么挖”
? ? ? ? 大數(shù)據(jù)技術(shù)涉及存儲(chǔ)、搜索戚扳、傳輸忧便、計(jì)算、挖掘等多方面帽借，本文只考慮大數(shù)據(jù)的挖掘珠增。大數(shù)據(jù)挖掘旨在從大數(shù)據(jù)中挖掘出未知且有用的知識(shí)。通過挖掘砍艾，大數(shù)據(jù)的價(jià)值才得以體現(xiàn)蒂教，所以挖掘?qū)Υ髷?shù)據(jù)有著舉足輕重的意義。
? ? ? ? 大數(shù)據(jù)挖掘有兩個(gè)基本問題脆荷，即“挖什么（what to mine）”與“怎么挖（how to mine）”凝垛。前者決定從數(shù)據(jù)中抽取什么樣的信息懊悯，統(tǒng)計(jì)什么樣的規(guī)律，后者決定怎樣具體進(jìn)行抽取與統(tǒng)計(jì)梦皮。前者是在數(shù)據(jù)的收集炭分、處理、挖掘中都要考慮的問題届氢，后者往往僅限于挖掘欠窒「残瘢“怎么挖”通常是數(shù)據(jù)挖掘研究的核心退子，但是“挖什么”在數(shù)據(jù)挖掘的應(yīng)用中往往更為重要，因?yàn)樗鼪Q定了挖掘結(jié)果的價(jià)值型将。在實(shí)際問題中寂祥，決定是挖金銀，還是挖銅鐵七兜，比決定是用鋤頭挖丸凭，還是用鏟子挖更為關(guān)鍵。
2. 大數(shù)據(jù)挖掘的策略
? ? ? ? 本文總結(jié)了大數(shù)據(jù)挖掘中判斷“挖什么”的四項(xiàng)策略腕铸，即盡量設(shè)想挖掘的場(chǎng)景惜犀，盡量多方面收集數(shù)據(jù)，盡量將數(shù)據(jù)整合狠裹，以及悉心觀察數(shù)據(jù)特征虽界。下面，結(jié)合自己在互聯(lián)網(wǎng)搜索中的大數(shù)據(jù)挖掘工作經(jīng)驗(yàn)涛菠，介紹對(duì)這些策略的體會(huì)莉御。
盡量設(shè)想挖掘的場(chǎng)景
? ? ? ? 收集數(shù)據(jù)是數(shù)據(jù)挖掘的第一步，需要判斷記錄俗冻、采集哪些數(shù)據(jù)礁叔，這直接影響了能從數(shù)據(jù)中挖掘什么樣的知識(shí)。巧婦難為無米之炊迄薄，沒有某一方面的數(shù)據(jù)琅关，也就無法從中進(jìn)行相關(guān)的挖掘。但是讥蔽，存儲(chǔ)死姚、處理數(shù)據(jù)是有代價(jià)的，提高數(shù)據(jù)挖掘效率的關(guān)鍵也在于只記錄勤篮、采集有用的數(shù)據(jù)都毒。所以，需要對(duì)收集數(shù)據(jù)的內(nèi)容進(jìn)行合理的判斷碰缔，這時(shí)账劲，應(yīng)該盡量設(shè)想挖掘的場(chǎng)景，在此基礎(chǔ)上將可能有用的數(shù)據(jù)全部記錄、采集下來瀑焦。
? ? ? ? 某公司的工程師們開發(fā)了一個(gè)互聯(lián)網(wǎng)瀏覽器中的工具欄（toolbar）腌且。用戶安裝了工具欄后，在瀏覽器中的操作榛瓮，如點(diǎn)擊網(wǎng)頁鏈接铺董，拖動(dòng)鼠標(biāo)等，都會(huì)被記錄下來禀晓。在得到用戶允許的條件下精续，這些數(shù)據(jù)會(huì)被傳送到該公司的云端服務(wù)器。工具欄記錄的用戶瀏覽器使用行為數(shù)據(jù)粹懒，可以用于互聯(lián)網(wǎng)搜索引擎等諸多方面重付。工程師們對(duì)工具欄記錄數(shù)據(jù)內(nèi)容進(jìn)行了精心的設(shè)計(jì)，考慮了各種可能的情況凫乖，希望收集的數(shù)據(jù)能支持多種挖掘任務(wù)确垫。用戶的IP地址，網(wǎng)頁鏈接的點(diǎn)擊時(shí)間等都被記錄下來帽芽。然而删掀，他們忘記記錄了一個(gè)重要的信息，使得到的數(shù)據(jù)不利于挖掘使用导街。原來披泪，用戶關(guān)閉瀏覽器的時(shí)間沒有被記錄下來，從數(shù)據(jù)中無法判斷用戶何時(shí)結(jié)束了搜索或?yàn)g覽行為菊匿。由于工程師們沒有很好的想象如何使用數(shù)據(jù)付呕，給之后的挖掘帶來了一定的困難。
? ? ? ? 判斷收集什么樣的數(shù)據(jù)牽涉到如何認(rèn)識(shí)世界這一哲學(xué)問題跌捆。哲學(xué)家康德的一個(gè)核心觀點(diǎn)是：我們所認(rèn)識(shí)的世界是我們用自己擁有的理論對(duì)自己觀察的現(xiàn)象做出的解釋徽职。紙上的一條墨跡，數(shù)學(xué)家把它看成是平面上的直線佩厚，中國人把它看成漢字的“一”姆钉。其實(shí)，我們想怎樣看世界決定了我們看到的世界是什么樣的抄瓦。只有當(dāng)對(duì)數(shù)據(jù)挖掘的內(nèi)容有比較清晰的想法的時(shí)候潮瓶，才能對(duì)數(shù)據(jù)的收集范圍有比較明確的界定。所以钙姊，盡量設(shè)想挖掘場(chǎng)景是必不可少的毯辅。
盡量多方面收集數(shù)據(jù)
? ? ? ? 事實(shí)上，我們很難事先窮盡所有可能的挖掘場(chǎng)景煞额，所以也就很難完全準(zhǔn)確地判斷應(yīng)該收集哪些數(shù)據(jù)思恐，不應(yīng)該收集哪些數(shù)據(jù)沾谜。作為彌補(bǔ)措施，可以考慮在存儲(chǔ)胀莹、處理能力允許的條件下基跑，盡量多方面收集數(shù)據(jù)。這是另一項(xiàng)策略描焰。多收集數(shù)據(jù)總有可能對(duì)數(shù)據(jù)挖掘產(chǎn)生某些幫助媳否。
? ? ? ? 回到工具欄的例子。工具欄記錄的用戶互聯(lián)網(wǎng)訪問的行為數(shù)據(jù)荆秦，能大大幫助搜索引擎提高對(duì)用戶的理解篱竭，提高搜索結(jié)果的相關(guān)性。研究發(fā)現(xiàn)萄凤，從用戶在瀏覽器中的簡單操作中都可以發(fā)現(xiàn)許多有用的信息室抽，幫助推斷用戶的興趣搪哪、意圖等靡努。比如，從用戶在瀏覽器中的鼠標(biāo)移動(dòng)軌跡中可以估計(jì)出他對(duì)網(wǎng)頁的關(guān)注范圍晓折，從用戶對(duì)網(wǎng)頁鏈接的點(diǎn)擊可以猜測(cè)出他的信息需求惑朦，從用戶對(duì)窗口的關(guān)閉動(dòng)作可以推測(cè)出他的興趣轉(zhuǎn)移。
盡量將數(shù)據(jù)整合
? ? ? ? 讓數(shù)據(jù)發(fā)揮更大作用的辦法是將相關(guān)數(shù)據(jù)整合在一起漓概，用于挖掘漾月。數(shù)據(jù)整合有助于幫助了解事物的全貌，發(fā)現(xiàn)未知的關(guān)系胃珍，提升預(yù)測(cè)的準(zhǔn)確率梁肿。局部數(shù)據(jù)只是“羅之一目”，而整體數(shù)據(jù)才是“彌天大網(wǎng)”觅彰。
? ? ? ? 圖1所示為互聯(lián)網(wǎng)搜索中的用戶行為模型吩蔑。該模型雖簡單，但屬于基本模型填抬，互聯(lián)網(wǎng)搜索中用戶的行為數(shù)據(jù)都可以納入其中烛芬，可以對(duì)用戶的行為進(jìn)行描述。現(xiàn)實(shí)中飒责，該模型的數(shù)據(jù)需要從多個(gè)數(shù)據(jù)源中獲取赘娄，并通過整合處理而得到。
? ? ? ? 互聯(lián)網(wǎng)搜索中首先有許多用戶宏蛉。每個(gè)用戶會(huì)多次使用搜索引擎遣臼，每次使用完成一個(gè)查詢?nèi)蝿?wù),構(gòu)成一個(gè)會(huì)話（session），每個(gè)會(huì)話又由多個(gè)查詢組成拾并。每個(gè)查詢中揍堰，用戶提交查詢語句蚌讼，搜索引擎返回結(jié)果，用戶根據(jù)其內(nèi)容判斷網(wǎng)頁的相關(guān)性个榕，點(diǎn)擊相關(guān)網(wǎng)頁的鏈接篡石，瀏覽網(wǎng)頁。瀏覽過程中西采，用戶可能按照網(wǎng)頁的鏈接凰萨，瀏覽多個(gè)網(wǎng)頁，之后返回搜索結(jié)果械馆，也可能直接離開胖眷。用戶在瀏覽器中的動(dòng)作，可以通過工具欄記錄下來霹崎，傳送給搜索引擎珊搀，但是，基于效率等考慮尾菇，搜索引擎返回的結(jié)果往往不會(huì)被工具欄記錄境析。相反，搜索的結(jié)果會(huì)被搜索引擎記錄下來派诬。所以劳淆，將客戶端與搜索引擎端的數(shù)據(jù)進(jìn)行整合變成互聯(lián)網(wǎng)搜索數(shù)據(jù)挖掘工作中的一項(xiàng)重要任務(wù)。瀏覽器記錄的用戶ID與搜索引擎記錄的用戶ID往往不一致默赂，將同一用戶的不同ID聯(lián)系起來并非易事沛鸵。
悉心觀察數(shù)據(jù)特征
? ? ? ? 決定從數(shù)據(jù)中挖掘什么，首先需要對(duì)數(shù)據(jù)有深入的了解缆八，需要對(duì)數(shù)據(jù)進(jìn)行認(rèn)真細(xì)致地觀察曲掰。只有對(duì)數(shù)據(jù)有深刻的認(rèn)識(shí)，才有可能從中挖掘出深層的知識(shí)奈辰。AOL隱私泄露事件是一個(gè)著名的“人肉數(shù)據(jù)挖掘”成功事例栏妖，說明只要細(xì)致觀察與推理，我們可以從數(shù)據(jù)中發(fā)現(xiàn)許多事情冯挎。
? ? ? ? 2006年AOL公司底哥，為了促進(jìn)研究，發(fā)布了搜索查詢數(shù)據(jù)集房官，包括65萬用戶三個(gè)月中在AOL搜索提交的2千多萬查詢趾徽。為了保護(hù)用戶隱私，AOL將用戶的個(gè)人信息刪除翰守，對(duì)每個(gè)用戶賦予了一個(gè)ID孵奶。紐約時(shí)報(bào)的一個(gè)記者對(duì)AOL數(shù)據(jù)進(jìn)行了觀察、分析蜡峰，利用電話號(hào)碼簿了袁，很快確定出ID為4417749的用戶是居住在佐治亞州的60歲的單身婦女Thelma Arnold朗恳。具體地，這位用戶提交了“l(fā)andscapers in Lilburn, Ga”的查詢载绿，從此可以推斷此人大概住在佐治亞州Lilburn粥诫。該用戶又提交了多個(gè)含有Arnold的人名查詢，可以揣測(cè)此人大概姓Arnold崭庸。該用戶又搜了“60 single men”怀浆，可以猜想此人可能是60歲左右的婦女，等等怕享。
? ? ? ? AOL事件說明了數(shù)據(jù)挖掘中保護(hù)用戶隱私問題的重要性（本文不討論隱私保護(hù)問題）执赡，同時(shí)也說明了認(rèn)真觀察數(shù)據(jù)，可以挖掘到許多深層的信息函筋。
3. 大數(shù)據(jù)挖掘事例
? ? ? ? 互聯(lián)網(wǎng)搜索引擎沙合，索引幾十億以上的網(wǎng)頁，每天有幾十億次查詢跌帐，收集幾十TB的日志數(shù)據(jù)首懈。這些數(shù)據(jù)是典型的大數(shù)據(jù)。
? ? ? ? 下面介紹一個(gè)互聯(lián)網(wǎng)搜索日志數(shù)據(jù)挖掘例子：查詢副主題挖掘含末。這是與微軟前同事等的工作猜拾〖瓷啵互聯(lián)網(wǎng)搜索中的查詢佣盒，或者表示多個(gè)語義，或者表示事物的多個(gè)側(cè)面顽聂，統(tǒng)稱為副主題（subtopic）肥惭。前者的例子，如圖2所示紊搪， 查詢“harry shum”意味著用戶可能要搜索微軟的副總裁蜜葱，也可能是搜索美國的演員。后者的例子耀石，如查詢“xbox”意味著用戶可能想找游戲攻略牵囤，也可能想購買游戲機(jī)。如果能判斷查詢的副主題滞伟，那么可以將該搜索結(jié)果進(jìn)行聚類揭鳞，把同一個(gè)副主題的網(wǎng)頁放在一起，幫助用戶迅速找到想要找的所有信息梆奈。根據(jù)副主題對(duì)搜索結(jié)果聚類是一個(gè)熱門研究課題野崇。傳統(tǒng)的方法根據(jù)搜索結(jié)果中網(wǎng)頁摘要的相似度對(duì)網(wǎng)頁進(jìn)行聚類，效果并不理想亩钟。我們提出的方法事先從搜索日志數(shù)據(jù)中挖掘出查詢的副主題乓梨，用戶搜索時(shí)鳖轰，根據(jù)挖掘好的副主題，對(duì)查詢結(jié)果進(jìn)行聚類扶镀，效果提升顯著蕴侣。副主題挖掘利用了用戶搜索的兩個(gè)現(xiàn)象。
? ? ? ? 我們觀察到的第一個(gè)現(xiàn)象是“同一查詢同一副主題（one subtopic per search）”臭觉。用戶每次進(jìn)行查詢時(shí)睛蛛，往往只考慮一個(gè)副主題，要搜副總裁的Harry Shum胧谈，就不會(huì)搜演員的Harry Shum忆肾，反之亦然。這一點(diǎn)會(huì)反映在用戶的日志點(diǎn)擊數(shù)據(jù)上菱肖。在同一次搜索中客冈，用戶點(diǎn)擊的多個(gè)網(wǎng)頁鏈接往往集中在同一個(gè)副主題上。將某一查詢的大量的點(diǎn)擊數(shù)據(jù)匯集起來稳强，根據(jù)鏈接是否常在同一次搜索中被共同點(diǎn)擊场仲，可以將它們聚類，就可以挖掘到該查詢的副主題退疫，這時(shí)渠缕，鏈接的每個(gè)類對(duì)應(yīng)一個(gè)副主題。
? ? ? ? 第二個(gè)現(xiàn)象是“加關(guān)鍵詞明確副主題（Subtopic Clarification by Additional Keyword）”褒繁，也可以用于副主題挖掘亦鳞。用戶在查詢時(shí)，會(huì)主動(dòng)明確副主題棒坏，在主查詢?cè)~的后面（或前面）加上關(guān)鍵詞燕差，如“harry shum microsoft”，“harry shum jr”坝冕。屬于同一副主題的網(wǎng)頁鏈接往往在被加同樣關(guān)鍵詞的查詢中點(diǎn)擊徒探，根據(jù)鏈接是否在加同樣關(guān)鍵詞查詢中被點(diǎn)擊，可以將它們聚類喂窟，得到的類也對(duì)應(yīng)于副主題测暗。
? ? ? ? 我們的方法能夠根據(jù)以上兩個(gè)現(xiàn)象挖掘出查詢的每個(gè)副主題，副主題由網(wǎng)頁鏈接磨澡、以及附加關(guān)鍵詞表示碗啄。利用特殊的數(shù)據(jù)結(jié)構(gòu)，可以將Bing的三個(gè)月日志數(shù)據(jù)在一天內(nèi)進(jìn)行一次高效的挖掘钱贯。對(duì)于高頻查詢挫掏，可以得到非常精準(zhǔn)的挖掘結(jié)果≈让可以看出尉共，大數(shù)據(jù)確實(shí)能夠發(fā)揮巨大作用褒傅。
? ? ? ? 另一方面，我們的方法對(duì)低頻查詢無法適用袄友，因?yàn)闆]有足夠的點(diǎn)擊數(shù)據(jù)殿托，也就是說會(huì)遇到長尾挑戰(zhàn)。用戶的行為數(shù)據(jù)大多遵循冪率分布（power law distribution）剧蚣，現(xiàn)在基于統(tǒng)計(jì)的數(shù)據(jù)挖掘方法對(duì)尾部數(shù)據(jù)依然是束手無策支竹。
4.?總結(jié)
? ? ? ? 大數(shù)據(jù)挖掘關(guān)鍵是決定挖什么，這比決定怎么挖更為重要鸠按。收集數(shù)據(jù)時(shí)礼搁，應(yīng)該盡量設(shè)想挖掘的場(chǎng)景，盡量多方面地記錄目尖、采集數(shù)據(jù)馒吴；收集數(shù)據(jù)后，應(yīng)該盡量將數(shù)據(jù)整合在一起瑟曲；數(shù)據(jù)挖掘前饮戳，應(yīng)該悉心觀察數(shù)據(jù)，以幫助判斷挖掘什么樣的知識(shí)洞拨。只有這樣扯罐，大數(shù)據(jù)挖掘的價(jià)值才能得以體現(xiàn)。
? ? ? ? 大數(shù)據(jù)挖掘極具威力烦衣，但也有局限性歹河，會(huì)遇到長尾挑戰(zhàn)。結(jié)合事先給定的知識(shí)進(jìn)行挖掘琉挖，或許是解決長尾挑戰(zhàn)的一條出路启泣。紐約時(shí)報(bào)記者能從搜索查詢數(shù)據(jù)中挖掘出用戶的身份，也是因?yàn)橛昧嘶诔ＷR(shí)的推理示辈。機(jī)器要變得具有同樣的智能，需要采用相同的手段遣蚀。
? ? ? ? 大數(shù)據(jù)時(shí)代剛剛開始矾麻，相信今后在各個(gè)領(lǐng)域，各種應(yīng)用中芭梯，大數(shù)據(jù)挖掘都會(huì)推動(dòng)創(chuàng)新险耀，對(duì)技術(shù)發(fā)展帶來巨大影響。這一點(diǎn)確實(shí)令人振奮玖喘。
? ? ? ? 大家都想一想從自己擁有的數(shù)據(jù)中可以挖掘出什么樣的金子吧甩牺！
來源：李航博士的新浪博客
