作者： 王守崑

作為個(gè)性化推薦系統(tǒng)核心的協(xié)同過濾（Collabora-tive Filtering）算法调鬓，是Goldberg等人在1992年的一篇學(xué)術(shù)論文中最早提出的。他們?cè)谶@篇文章中提出一種方法代咸，在一個(gè)新聞組中怀泊，根據(jù) 用戶下載的新聞?dòng)?jì)算他們之間在口味上的相似程度，并利用這種相似程度為他們進(jìn)一步推薦相關(guān)的新聞碴裙。這也是最早期的個(gè)性化推薦系統(tǒng)的雛形仅讽。

20世紀(jì)90年代中后期陶缺，隨著電子商務(wù)的興起，個(gè)性化推薦系統(tǒng)迎來了第一波高潮洁灵，幾乎每個(gè)大型電子商務(wù)網(wǎng)站都把個(gè)性化推薦作為重要的營銷手段之一饱岸。更有文獻(xiàn)表 明早期Amazon的35%銷售增量都來自它的推薦系統(tǒng)。Amazon的幾位科學(xué)家和工程師在2000年發(fā)表的一篇關(guān)于“基于條目的協(xié)同過濾”的論文也成為了個(gè)性化推薦領(lǐng)域最基礎(chǔ)的文獻(xiàn)之一徽千，是學(xué)術(shù)研究與工業(yè)實(shí)踐相結(jié)合的典范苫费。之后越來越多的研究者和企業(yè)界的工程師投入到了個(gè)性化推薦系統(tǒng)的實(shí)踐中。

21世紀(jì)双抽，互聯(lián)網(wǎng)領(lǐng)域兩個(gè)根本性的變化使得個(gè)性化推薦系統(tǒng)需要面臨新的挑戰(zhàn)百框。

第一個(gè)變化是隨著Web 2.0的興起，個(gè)人用戶逐漸成為網(wǎng)站的中心牍汹。用戶樂于在網(wǎng)絡(luò)上建立和分享他們的社會(huì)關(guān)系和興趣愛好铐维，展示個(gè)性柬泽。網(wǎng)站的創(chuàng)立者也更重視對(duì)用戶的基礎(chǔ)數(shù)據(jù)的收 集和分析，從而全方位地滿足用戶的需求方椎。與傳統(tǒng)的以信息為中心的Web 1.0的組織方式相比，Web 2.0強(qiáng)調(diào)以用戶為中心钧嘶，對(duì)個(gè)性化推薦系統(tǒng)的發(fā)展起到了極大的促進(jìn)作用棠众。因此，幾乎每個(gè)具有一定規(guī)模的Web 2.0網(wǎng)站都會(huì)建立用戶模型有决，甚至還涌現(xiàn)出不少以個(gè)性化推薦為核心的服務(wù)闸拿。這使得個(gè)性化推薦系統(tǒng)的研究和實(shí)踐獲得了非常大的進(jìn)展。

第二個(gè)變化是互聯(lián)網(wǎng)越來越深入我們的真實(shí)生活书幕。與早期的互聯(lián)網(wǎng)用戶不同新荤，如今人們?cè)絹碓搅?xí)慣在網(wǎng)絡(luò)上使用真實(shí)身份，維持真實(shí)的社會(huì)關(guān)系台汇，分享真實(shí)的生活軌跡苛骨。互聯(lián)網(wǎng)不再是虛擬世界的代表苟呐，而是真實(shí)世界的一部分痒芝。這使得網(wǎng)站的創(chuàng)立者能夠更準(zhǔn)確地掌握用戶的各種信息。而用戶對(duì)個(gè)人隱私的關(guān)注也使得工程師在使用這些信息時(shí)不得不更加慎重牵素。

對(duì)個(gè)性化推薦系統(tǒng)來說严衬，這些變化是一把雙刃劍：人們提供更多的真實(shí)信息有利于提高推薦精度；而同時(shí)人們對(duì)隱私和信息流動(dòng) 方向的關(guān)注為推薦系統(tǒng)如何使用這些信息設(shè)置了更高的門檻笆呆。個(gè)性化推薦系統(tǒng)不但要考慮推薦的精度请琳，還要考慮在社會(huì)網(wǎng)絡(luò)中信息的來源和用戶對(duì)這些信息微妙的情 感因素，而這些因素在算法中往往是難以建模和衡量的赠幕。

對(duì)個(gè)性化推薦系統(tǒng)從業(yè)者來說俄精，這既是巨大的市場機(jī)會(huì)，也是前所未有的挑戰(zhàn)榕堰。如何抓住機(jī)會(huì)嘀倒、應(yīng)對(duì)挑戰(zhàn)呢？本文試圖從當(dāng)前推薦系統(tǒng)存在的一些問題出發(fā)局冰，逐步闡述對(duì)下一代個(gè)性化推薦系統(tǒng)的初步構(gòu)想和建議测蘑，同時(shí)也提出一些值得關(guān)注的問題，供本領(lǐng)域的從業(yè)者考慮和探討康二。

當(dāng)前推薦系統(tǒng)面臨的挑戰(zhàn)

根據(jù)出發(fā)思想的不同碳胳，個(gè)性化推薦系統(tǒng)可大致分為基于協(xié)同過濾和基于內(nèi)容兩種。協(xié)同過濾的基本思想前面已有所探討沫勿；基于內(nèi)容的推薦系統(tǒng)的出發(fā)點(diǎn)則更直接挨约，即通 過對(duì)被推薦條目的內(nèi)容進(jìn)行建模和分析味混，從而為相關(guān)用戶推薦出適合的內(nèi)容。事實(shí)上诫惭，早期互聯(lián)網(wǎng)中的人工分類目錄就可以看作基于內(nèi)容進(jìn)行推薦的雛形翁锡。從實(shí)際應(yīng) 用的角度，可更進(jìn)一步把這兩種思想歸納為黑盒推薦和白盒推薦兩種模式夕土。

黑盒推薦不需要考慮推薦的具體內(nèi)容馆衔，而是利用機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等統(tǒng)計(jì)方式和人工智能的方法對(duì)數(shù)據(jù)進(jìn)行分析怨绣，建立相關(guān)模型和優(yōu)化目標(biāo)角溃，在一定約束條件下求得最優(yōu)解或局部最優(yōu)解作為向用戶推薦的內(nèi)容。

白盒推薦則是深入到被推薦的條目內(nèi)容之中篮撑，依據(jù)對(duì)條目的先驗(yàn)知識(shí)和對(duì)用戶的理解進(jìn)行相關(guān)匹配的推薦减细，推薦的過程中也會(huì)用到機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘的算法，但先驗(yàn)知識(shí)的來源往往是專家領(lǐng)域的知識(shí)赢笨。

這兩種模式各有優(yōu)劣未蝌。在實(shí)踐中，通常會(huì)融合兩種模式的優(yōu)勢(shì)建立所謂混合模型以求得更好的推薦效果茧妒。從實(shí)際應(yīng)用來看树埠，考慮到可擴(kuò)展性及系統(tǒng)建立的成本，大型商用的個(gè)性化推薦系統(tǒng)大多以黑盒推薦為基礎(chǔ)嘶伟，我們先來談?wù)労诤型扑]的優(yōu)劣怎憋。

黑盒推薦的核心是機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘算法，有著堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)和明確的優(yōu)化指標(biāo)與方法九昧，所以推薦質(zhì)量有基本的保證绊袋。搭建系統(tǒng)既不需要領(lǐng)域內(nèi)的知識(shí)，也不需要 過多的人工干預(yù)铸鹰，同時(shí)模型的魯棒性比較好癌别，應(yīng)對(duì)用戶和條目的增長不需要付出更多額外的努力。這些優(yōu)勢(shì)使得黑盒推薦獲得了非常廣泛的應(yīng)用蹋笼。但隨著前面提到的 互聯(lián)網(wǎng)領(lǐng)域的兩個(gè)根本性變化的影響展姐，黑盒推薦的弊端也越來越多地顯現(xiàn)出來（如圖1所示）。

圖1 黑盒推薦的弊端

對(duì)于以協(xié)同過濾為基礎(chǔ)的推薦算法的弊端剖毯，文獻(xiàn)中討論比較多的是冷啟動(dòng)問題圾笨，即數(shù)據(jù)稀少的情況下難以獲得高質(zhì)量的推薦。這是黑盒推薦在系統(tǒng)啟動(dòng)時(shí)面臨的最大挑 戰(zhàn)逊谋。事實(shí)上擂达，即便有了啟動(dòng)數(shù)據(jù)，在數(shù)據(jù)稀疏的情況下黑盒系統(tǒng)偶爾也會(huì)放大噪聲胶滋，給出低質(zhì)量的推薦板鬓。有人甚至專門為此造了一個(gè)單詞悲敷，叫做 “freakommendation”?3?，用來指代那些稀奇古怪的推薦俭令。

例如在某著名電子商務(wù)網(wǎng)站上后德，每年母親節(jié)時(shí)都有鮮花促銷，十幾 歲的青少年在為母親購買鮮花之余抄腔，順便會(huì)為自己買上幾部恐怖片瓢湃。系統(tǒng)中的鮮花和恐怖片便建立了相似關(guān)聯(lián)，在有人購買鮮花時(shí)系統(tǒng)便會(huì)推薦恐怖片妓柜，反之亦然箱季。 這種推薦自然會(huì)引起很多用戶的不適涯穷，雖然從統(tǒng)計(jì)意義的優(yōu)化指標(biāo)（如RMSE或者M(jìn)AE）來看系統(tǒng)達(dá)到了最優(yōu)棍掐，但對(duì)于某些主觀性的因素，比如用戶對(duì)系統(tǒng)推薦 的信任和心理感受拷况，卻有著相當(dāng)負(fù)面的影響作煌。這些影響可能很難用具體的指標(biāo)和數(shù)字來衡量，但它們對(duì)一個(gè)產(chǎn)品的成敗來說赚瘦，往往是長期的粟誓、根本性的，甚至是決定 性的起意。

與冷啟動(dòng)相反鹰服，在實(shí)踐中，還可以看到另一種較少被文獻(xiàn)所提及的現(xiàn)象揽咕，稱為“宏觀與微觀的悖論”悲酷。當(dāng)從宏觀的系統(tǒng)角度轉(zhuǎn)向微觀的用戶角 度時(shí)，我們會(huì)驚奇地發(fā)現(xiàn)亲善，隨著數(shù)據(jù)的增長设易，整個(gè)系統(tǒng)在各項(xiàng)量化的推薦指標(biāo)上的表現(xiàn)會(huì)越來越好，而對(duì)那些貢獻(xiàn)了更多數(shù)據(jù)和內(nèi)容的重度用戶蛹头，卻越來越傾向于給 出平庸和保守的推薦顿肺。

這個(gè)悖論的尷尬之處在于，幾乎每個(gè)個(gè)性化推薦系統(tǒng)都宣稱用戶所獲得的推薦質(zhì)量會(huì)隨著數(shù)據(jù)的增加和用戶的積累而顯著提 高渣蜗，但實(shí)際所看到的卻是整體用戶推薦質(zhì)量的改善并不意味著每一個(gè)用戶群體推薦質(zhì)量的改善屠尊。黑盒推薦的基礎(chǔ)是基于統(tǒng)計(jì)的機(jī)器學(xué)習(xí)算法，為了在欠擬合 （Under-fitting）和過擬合（Over-fitting）之間求平衡耕拷，總有將結(jié)果拉回平均的傾向知染。

這就意味著，隨著用戶貢獻(xiàn)數(shù)據(jù)的增多斑胜，用戶的多個(gè)興趣維度往往會(huì)被當(dāng)做白噪聲過濾掉控淡。這種效應(yīng)對(duì)推薦系統(tǒng)的影響也是根本性的嫌吠。對(duì)任何產(chǎn)品來說，留不住活躍的用戶都是致命的缺陷掺炭。

圖1描述了黑盒推薦模式的推薦質(zhì)量和用戶收藏之間的關(guān)系辫诅，可以比較清晰地劃分為三個(gè)階段。

第一階段涧狮，用戶收藏較少炕矮，系統(tǒng)在宏觀和微觀層面都面臨冷啟動(dòng)問題，此時(shí)的推薦質(zhì)量低于用戶的預(yù)期者冤。這是用戶在使用個(gè)性化推薦系統(tǒng)時(shí)的第一個(gè)門檻肤视，會(huì)把相當(dāng)一部分用戶阻擋在產(chǎn)品外。

第二階段涉枫，隨著用戶收藏的增長邢滑，系統(tǒng)對(duì)用戶興趣的建模更加準(zhǔn)確，推薦質(zhì)量也獲得顯著提升愿汰，這是推薦系統(tǒng)和用戶之間的蜜月期困后，此時(shí)的推薦往往會(huì)給用戶帶來驚喜，能夠有效地幫助用戶發(fā)掘他們未知但感興趣的領(lǐng)域衬廷。

第三階段摇予，也就是前面提到的宏觀和微觀的悖論所產(chǎn)生的階段。此時(shí)吗跋，雖然從各項(xiàng)指標(biāo)來看推薦質(zhì)量還在繼續(xù)改善侧戴，但用戶所切身感受到的卻是推薦系統(tǒng)能給他們提供的幫助越來越少，推薦內(nèi)容趨于平庸跌宛，缺乏眼前一亮的驚喜酗宋。

針對(duì)黑盒推薦的弊端，業(yè)內(nèi)的研究者和工程師提出了很多補(bǔ)救的方案秩冈。例如結(jié)合基于內(nèi)容的白盒推薦方法來解決冷啟動(dòng)問題從而提高推薦的驚喜度本缠、通過 Transfer Learning的方法利用其他領(lǐng)域的結(jié)果和訓(xùn)練的模型獲得啟動(dòng)數(shù)據(jù)，以及利用矩陣分解（Matrix Factorization）的方法改善數(shù)據(jù)稀疏性的問題入问。這些方法都收到了不錯(cuò)的效果丹锹，值得實(shí)踐領(lǐng)域的從業(yè)者重視。

在前面分析的基礎(chǔ)之上芬失，我們嘗試提出一種框架性的改進(jìn)楣黍，在解決黑盒推薦弊端的同時(shí)探索下一代個(gè)性化推薦系統(tǒng)的雛形。

下一代個(gè)性化推薦系統(tǒng)

目前棱烂，黑盒推薦之所以會(huì)面臨種種挑戰(zhàn)租漂，一個(gè)根本問題是推薦系統(tǒng)過分關(guān)注短期的優(yōu)化目標(biāo)或產(chǎn)品目標(biāo)，忽視了產(chǎn)品的用戶價(jià)值和增長的源動(dòng)力。其表現(xiàn)就是沒有把用 戶在領(lǐng)域內(nèi)的動(dòng)態(tài)成長模型納入到算法框架之中哩治。好的個(gè)性化推薦算法秃踩，應(yīng)該是始于用戶、終于用戶的业筏，并且是一個(gè)健康的憔杨、動(dòng)態(tài)的、具有自我生長和自我調(diào)節(jié)能力 的系統(tǒng)蒜胖。用戶是系統(tǒng)的一部分消别，與系統(tǒng)共同促進(jìn)和成長。

依據(jù)這樣的思想台谢，可以把推薦系統(tǒng)分成三個(gè)層次（如圖2所示）寻狂。

圖2 下一代個(gè)性化推薦系統(tǒng)的三個(gè)層次

第一層是猜（Prediction），就是提供一個(gè)靜態(tài)的數(shù)據(jù)集朋沮，拿掉其中的一部分蛇券，想辦法利用剩下的數(shù)據(jù)把拿掉的部分恢復(fù)起來，使得恢復(fù)誤差做到最小朽们。這部分工 作可以認(rèn)為是個(gè)數(shù)學(xué)問題怀读，能夠形式化并給出嚴(yán)格的定義诉位，這也是目前在學(xué)術(shù)界和工業(yè)界研究得最透徹骑脱、解決得最好的一部分。在前幾年的Netflix競賽中苍糠， 層出不窮的新算法和持續(xù)的推薦精度的改進(jìn)也讓我們看到了這里面隱藏的巨大潛力叁丧。這部分工作也是建立個(gè)性化推薦系統(tǒng)的第一步，其意義是從數(shù)據(jù)形成信息岳瞭。

第二層是預(yù)測(cè)（Forecasting）拥娄，把給定的數(shù)據(jù)集看成一個(gè)自洽的系統(tǒng)，預(yù)測(cè)這個(gè)系統(tǒng)下一步的變化瞳筏。用上一個(gè)層次的方法也可以解決這一層次的問題稚瘾，但 其中有一個(gè)重要的區(qū)別，即在時(shí)間維度上預(yù)測(cè)要解決的問題在系統(tǒng)之外姚炕，而猜要解決的在系統(tǒng)之內(nèi)摊欠。這使得預(yù)測(cè)比猜在優(yōu)化指標(biāo)的設(shè)置上要復(fù)雜一些。

同時(shí)柱宦，因?yàn)闀r(shí)間方向的不同些椒，所以在系統(tǒng)中要考慮人的心理和社會(huì)環(huán)境因素起到的作用。這兩個(gè)因素的作用使預(yù)測(cè)的系統(tǒng)比上一個(gè)層次的復(fù)雜度高了很多掸刊，原來的方法 可行免糕，但未必有效。解決預(yù)測(cè)的問題，僅從給定的數(shù)據(jù)出發(fā)是不夠的石窑，需要整合其他來源的數(shù)據(jù)牌芋，可能需要先驗(yàn)知識(shí)，甚至需要一點(diǎn)用戶的認(rèn)知和心理模型松逊。目前姜贡， 商用的個(gè)性化推薦系統(tǒng)都在或多或少地解決這個(gè)問題。這部分工作是建立一個(gè)真正有用的個(gè)性化推薦系統(tǒng)棺棵，其意義是從信息形成知識(shí)楼咳。

第三層是推薦（Recommendation），這才是真正意義的個(gè)性化推薦烛恤。這個(gè)系統(tǒng)應(yīng)該具備所推薦領(lǐng)域的知識(shí)母怜，同時(shí)還要認(rèn)識(shí)它的每一個(gè)用戶。這個(gè)系統(tǒng)能夠自我啟 動(dòng)缚柏，同時(shí)能夠生長和進(jìn)化苹熏；這個(gè)系統(tǒng)是有記憶的，同時(shí)還能夠?qū)W習(xí)币喧。這個(gè)系統(tǒng)沒有嚴(yán)格的定義轨域，同時(shí)它的基本技術(shù)架構(gòu)可能也不會(huì)僅局限于目前流行的個(gè)性化推薦系 統(tǒng)的各種框架、技術(shù)和算法之中杀餐。隨著計(jì)算能力的飛速發(fā)展和數(shù)據(jù)的極大豐富干发，當(dāng)前我們有理由向著那些更高的目標(biāo)邁進(jìn)。這部分工作會(huì)給用戶帶來全新的史翘、突破性的體驗(yàn)枉长，成為用戶的良師益友，其意義是從知識(shí)形成系統(tǒng)琼讽。

幾個(gè)值得關(guān)注的問題

要想完全描繪出下一代個(gè)性化推薦系統(tǒng)的藍(lán)圖還有很長的路要走必峰。下面是幾個(gè)值得關(guān)注的問題。

不同的數(shù)據(jù)集如何影響推薦算法的表現(xiàn)钻蹬。用戶對(duì)于不同的條目有不同的行為吼蚁，以圖書、電影问欠、音樂肝匆、新聞、圖片溅潜、視頻术唬、服裝等為中心的數(shù)據(jù)集在稀疏性、時(shí)效性滚澜、關(guān)聯(lián)程度粗仓、反饋快慢等各方面有著不同的特性，如何根據(jù)這些特性挑選合適的算法對(duì)實(shí)踐會(huì)有很強(qiáng)的指導(dǎo)意義。

對(duì)不同的領(lǐng)域借浊，用戶期待的推薦形式和對(duì)推薦質(zhì)量的預(yù)期各不同塘淑。如何把這些相關(guān)知識(shí)融入到算法之中，再反映到優(yōu)化指標(biāo)上蚂斤，使推薦系統(tǒng)能跟用戶一起成長存捺？

推薦系統(tǒng)的優(yōu)化指標(biāo)，如何與產(chǎn)品的關(guān)鍵指標(biāo)相結(jié)合曙蒸，使算法的優(yōu)化和系統(tǒng)調(diào)整更加有的放矢捌治，成為產(chǎn)品的一部分？

對(duì)大規(guī)模實(shí)時(shí)的個(gè)性化推薦系統(tǒng)而言纽窟，如何有效地分配離線與在線計(jì)算任務(wù)肖油，以及尋找可接受的近似算法，從而求得消耗計(jì)算資源和優(yōu)化在線響應(yīng)速度之間的平衡臂港？

針對(duì)相似性指標(biāo)的研究森枪。在推薦系統(tǒng)中，如何依據(jù)不同的數(shù)據(jù)集特性和用戶特征選擇合適的相似性指標(biāo)审孽？

個(gè)性化推薦系統(tǒng)對(duì)用戶行為的影響县袱。用戶的行為是個(gè)性化推薦系統(tǒng)的基礎(chǔ)，反過來佑力，個(gè)性化推薦系統(tǒng)推薦的內(nèi)容也會(huì)對(duì)用戶的行為產(chǎn)生影響式散。如何評(píng)估這些因素對(duì)系統(tǒng)和產(chǎn)品的進(jìn)一步影響，也是個(gè)有意思的話題搓萧。

從技術(shù)角度來看杂数，以上所提到的這些問題基本都有解決方案宛畦。但從其他角度來看瘸洛，則未必如此。一個(gè)關(guān)鍵的角度是：個(gè)性化推薦到底是一項(xiàng)技術(shù)次和，一個(gè)功能反肋，還是一個(gè)產(chǎn)品？這決定了個(gè)性化推薦系統(tǒng)未來的發(fā)展方向和影響力踏施。

未來的互聯(lián)網(wǎng)（包括移動(dòng)互聯(lián)網(wǎng)）石蔗，不是平臺(tái)就是平臺(tái)的一部分。Amazon是電子商務(wù)及其相關(guān)基礎(chǔ)設(shè)施的平臺(tái)畅形，Google是自由開放的信息平 臺(tái)养距，Apple是相對(duì)封閉的平臺(tái)，F(xiàn)acebook是社會(huì)關(guān)系和私有信息的平臺(tái)日熬。個(gè)性化推薦系統(tǒng)未必會(huì)成為平臺(tái)棍厌，但在未來的互聯(lián)網(wǎng)時(shí)代，它會(huì)是各個(gè)平臺(tái)核心競爭力的一部分。

http://www.programmer.com.cn/14366/