阿里電商搜索事業(yè)部迎來了一場以“搜·薦未來”為主題的技術(shù)峰會瘦癌。

搜索與推薦算法經(jīng)過多年的發(fā)展嗦玖，從最初簡單的統(tǒng)計模型澜掩，機器學(xué)習(xí)到形成完整的離線在線與實時的深度學(xué)習(xí)與智能決策體系贯涎，每年都有新的算法突破谴麦，幫助搜索與推薦的體驗與效果取得大幅提升蠢沿，成為驅(qū)動電商商業(yè)創(chuàng)新與發(fā)展的新引擎。站在今天總結(jié)過去的算法演進匾效，同時看未來電商搜索推薦算法的發(fā)展舷蟀，期待從機器智能到結(jié)合人類智能做到真正地認(rèn)知智能，實現(xiàn)搜索推薦新的交互新體驗面哼。

今天野宜，我們邀請青峰老師，帶你回顧搜索算法技術(shù)的發(fā)展之路魔策。

作者簡介：青峰匈子，搜索推薦算法技術(shù)負責(zé)人，阿里巴巴研究員

一 闯袒、淘寶搜索的一些特點

淘寶有幾十億商品虎敦，掛靠在幾千個葉子類目，上百個一級類目政敢，十幾個行業(yè)下面其徙。如何能讓用戶找到符合意圖的商品，是淘寶搜索需要解決的首要問題喷户。

淘寶搜索從大的架構(gòu)或流程上來說唾那，與傳統(tǒng)的搜索引擎有不少相似的地方。包括對數(shù)據(jù)的整理褪尝、分析闹获、索引產(chǎn)生索引庫，如何根據(jù)用戶輸入的關(guān)鍵詞在索引倒排表中進行檢索恼五，完成商品與檢索之間的相關(guān)度評價昌罩，對將要輸出的結(jié)果進行排序，并實現(xiàn)某種用戶相關(guān)性反饋機制等灾馒。

當(dāng)然作為電商的商品搜索來說，它天然的商業(yè)屬性帶來的更多是自身獨特的技術(shù)特點遣总。

從數(shù)據(jù)更新角度來看睬罗，淘寶的數(shù)據(jù)變化和更新非彻旃Γ快。每天大量的新商品數(shù)據(jù)被上傳到網(wǎng)站容达，一旦新商品被上傳古涧，這個商品就需要被搜索到。不像網(wǎng)頁搜索花盐，任何人可以發(fā)布新的網(wǎng)頁羡滑，但是否被搜索引擎收錄是另一回事。同時在淘寶每天有大量的商品不停地在做更新算芯，包括商品標(biāo)題描述的變化柒昏，商品價格的改變，商品圖片的更新熙揍，商品的上下架等等职祷，這些變化也需要實時的更新到搜索中，以便讓用戶及時找到更新后的商品信息届囚。而在全網(wǎng)搜索中有梆，很多網(wǎng)頁是靜態(tài)不變，網(wǎng)頁之間的相互關(guān)系也變化緩慢意系，大量索引的更新沒有類似淘寶搜索這種實時性的需求泥耀。

從搜索數(shù)據(jù)源來看，淘寶商品的圖片在用戶研究和購買過程中起到了很大作用蛔添，搜索的展現(xiàn)結(jié)果中有很大一部分被圖片所占據(jù)痰催。如何更有效地利用圖片的信息，無論是根據(jù)圖片來做檢索作郭，或是考慮圖片的質(zhì)量陨囊，圖片與文本的相互關(guān)系等都是淘寶搜索需要考慮和處理的。

另外一個特點是全鏈路特性夹攒。搜索蜘醋，比較以及購買都發(fā)生在淘寶站內(nèi)，不像一般的全網(wǎng)搜索引擎咏尝，用戶搜索完后就跳離到其它網(wǎng)站压语，搜索前和搜索后的用戶行數(shù)據(jù)是很難拿到的。而在淘寶搜索编检，用戶搜索完后胎食，會點擊其中一些商品，然后比較這些商品允懂，和賣家進行溝通厕怜，然后下單購買，或者返回來繼續(xù)搜索，搜索前粥航，搜索中和搜索后的數(shù)據(jù)和信息非常豐富琅捏，有全鏈路的用戶行為數(shù)據(jù)能幫助我們設(shè)計一個更好的搜索排序算法。

最后更重要的一點淘寶是一個生態(tài)系統(tǒng)递雀。而搜索排序算法的設(shè)計不只是體現(xiàn)了搜索本身的技術(shù)追求柄延，也包含了更多的商業(yè)訴求。在全網(wǎng)搜索中缀程，一般的網(wǎng)頁是不是被索引搜吧，被索引后是不是能展現(xiàn)，對網(wǎng)頁的擁有者來說并不是一個事關(guān)生活的決定點杨凑。在淘寶上則完全不同滤奈，很多商家依賴于淘寶來解決民生就業(yè)問題，網(wǎng)店的流量以及成交關(guān)系到很多人的生活蠢甲。在淘寶搜索的算法設(shè)計中僵刮，既要考慮用戶的搜索體驗，也要考慮商業(yè)規(guī)則來保障公平性和流量的分散性鹦牛。很多的搜索算法原理搞糕，規(guī)則或算法結(jié)果都會向賣家宣導(dǎo)，引導(dǎo)賣家向更好的方向發(fā)展曼追。

二窍仰、搜索算法技術(shù)演進

作為淘寶海量消費者與平臺的互動行為，大量商家在平臺進行的商業(yè)活動的最主要承載者礼殊，淘寶搜索是大數(shù)據(jù)智能化應(yīng)用的最佳場景驹吮；在淘寶搜索算法多年的發(fā)展過程中，依托于工程架構(gòu)體系的逐步完善晶伦，逐步實現(xiàn)從簡單人工運營加簡單算法規(guī)則的時代碟狞，到形成完整的離線在線與實時的深度學(xué)習(xí)與智能決策體系，成為阿里電商平臺流量分發(fā)與商業(yè)驅(qū)動的智能中樞婚陪，總結(jié)搜索算法技術(shù)的迭代進步族沃，大概可以分成如下四個階段：

2.1檢索時代

這個階段和業(yè)務(wù)相對應(yīng)，搜索排序主要圍繞規(guī)則和輪播展開泌参。這個階段數(shù)據(jù)量和用戶量還處于可控程度脆淹，具有領(lǐng)域知識的專業(yè)運營和產(chǎn)品往往充當(dāng)信息展示規(guī)則的制定者，根據(jù)主觀的判斷和對市場的敏銳度來制定查詢詞背后的商品展示邏輯沽一。當(dāng)然這個階段搜索也會運用一些基本的算法邏輯來保證信息匹配的正確性和人貨匹配的公平性盖溺，基于傳統(tǒng)搜索引擎技術(shù)的相關(guān)性模型，保證用戶查詢詞語商品標(biāo)題的有效匹配铣缠；基于商品成交與否的銷售人氣模型烘嘱，保證有助于被消費者接受的商品得到更多的展示機會昆禽。

但總體來說還是基于人工規(guī)則把各種相關(guān)因子進行組合，得出最后的排序拙友∥辏“人工規(guī)則”的好處是容易理解和操控歼郭，壞處則不言而喻遗契，隨著平臺規(guī)模的增大，簡單規(guī)則無法精細的表達人貨匹配的效率病曾，并且容易被一些不良商家利用規(guī)則來擾亂市場秩序牍蜂；

2.2大規(guī)模機器學(xué)習(xí)時代

隨著平臺規(guī)模的擴大，大規(guī)模商家入駐泰涂，積極地在平臺上打理店鋪鲫竞，發(fā)布商品，相對結(jié)構(gòu)化的商品組織體系逼蒙，類目結(jié)構(gòu)从绘，屬性信息，基于商品為key 的銷量的累積是牢，評論的累積僵井，這些為更好地理解商品積累了重要的原始數(shù)據(jù)資料；消費者通過搜索產(chǎn)品的各級頁面與平臺的互動越來越頻繁驳棱；數(shù)據(jù)的組織形成了以人為key 的結(jié)構(gòu)體系批什，反饋信號也得以在閉環(huán)系統(tǒng)中有效的流轉(zhuǎn)；所有的這些都為理解用戶積累了重要的數(shù)據(jù)資料社搅。

有效數(shù)據(jù)的積累為大規(guī)模運用機器學(xué)習(xí)技術(shù)解決問題提供了必要的土壤驻债。搜索也進入到各種大規(guī)模模型的研究和開發(fā)，比如點擊預(yù)估模型等形葬，研究數(shù)據(jù)特征規(guī)模大合呐、特征復(fù)雜度高、數(shù)據(jù)時效性高笙以、模型訓(xùn)練頻繁等相關(guān)的問題淌实，利用不斷增強的計算處理能力，對百萬乃至十億量級以上的超大規(guī)模數(shù)據(jù)進行分析和挖掘源织。這時候參與排序的因子也越來越多翩伪，從一開始的類目相關(guān)性與文本相關(guān)性，商品人氣分谈息；再后來為了平衡賣家流量缘屹，加入的賣家分；再后來為了更好的用戶體驗侠仇，加入了個性化人與商品的點擊預(yù)估轻姿，圖像質(zhì)量等因素等等犁珠，開始使用類似Learning to Rank（LTR）方法，根據(jù)商品的點擊互亮、成交數(shù)據(jù)構(gòu)造學(xué)習(xí)樣本犁享，學(xué)習(xí)回歸出排序權(quán)重。

2.3大規(guī)模實時在線學(xué)習(xí)時代

首先豹休，相比通用搜索炊昆，電商搜索中對于實時計算/學(xué)習(xí)有著更高的要求，用戶會有著更豐富的多維度的交互威根，更長的瀏覽鏈路凤巨。因此，如果用戶在鏈路前期的行為可以實時地被系統(tǒng)捕捉并且建模到引擎中并且作用于鏈路后期洛搀，對整個鏈路的效率以及用戶體驗都是及其關(guān)鍵的敢茁。

其次，用戶的行為分布也不是一成不變的留美，從而打破離線訓(xùn)練的監(jiān)督學(xué)習(xí)算法所依賴的獨立同分布假設(shè)彰檬，尤其是在雙11這樣的大促場景，一天的流量和日常數(shù)天的相當(dāng)谎砾，分布變化會更加的劇烈逢倍。

最后，由于搜索展示商品的有限棺榔，能夠進入日志系統(tǒng)得到用戶反饋的商品集合只占商品全集的一部分瓶堕，因此離線訓(xùn)練和線上會有不一致性，這個不一致性在一定程度上可以通過在線學(xué)習(xí)系統(tǒng)緩解症歇。

于是郎笆，我們建設(shè)了一套實時計算和在線學(xué)習(xí)系統(tǒng)，支持在秒級別內(nèi)對海量用戶行為及其相關(guān)聯(lián)的海量商品作實時分析處理忘晤，從中提取多維度的用戶/商品數(shù)據(jù)特征宛蚓，并采用分布式Parameter Server架構(gòu)進行在線學(xué)習(xí)，從而使用戶行為可以在幾秒內(nèi)影響搜索排序等在線服務(wù)设塔。

我們逐步實現(xiàn)了“實時特征”->“實時排序因子模型”->“實時頂層LTR/Bandit模型”凄吏，完成了三位一體的實時化建設(shè)。我們先后實現(xiàn)了秒級更新的基于pointwise的FTRL闰蛔、基于pairwise的實時矩陣分解模型和實時雙線性模型等一系列微觀特征痕钢，并在此基礎(chǔ)之上實現(xiàn)了實時Learning to rank，以及實時Multi-Armed Bandit等宏觀調(diào)控模型序六，實現(xiàn)了雙鏈路實時系統(tǒng)的升級任连。

與此同時，在線學(xué)習(xí)系統(tǒng)強有力地支持了對流量的精準(zhǔn)調(diào)控例诀，可以更迅速有效地實現(xiàn)商業(yè)決策随抠。此外裁着，我們還將在線學(xué)習(xí)的算法部分抽象出來，建立了一個通用的一站式在線機器學(xué)習(xí)算法平臺AOP（Algorithm One-stop Platform）拱她，使得建立和部署在線學(xué)習(xí)模型更加得便捷和高效二驰，同時具有高度可擴展性。到目前為止秉沼，在線學(xué)習(xí)系統(tǒng)已經(jīng)成為搜索架構(gòu)中的基礎(chǔ)組件之一桶雀，在提升用戶搜索體驗，支持商業(yè)決策氧猬，以及支撐雙11等大促效果方面發(fā)揮了巨大作用背犯。

2.4深度學(xué)習(xí)與智能決策時代

以深度學(xué)習(xí)和強化學(xué)習(xí)為代表的人工智能給搜索技術(shù)帶來了全新的變化，特別是在語義搜索盅抚，搜索個性化和智能決策三個方向。

在語義搜索領(lǐng)域倔矾，我們設(shè)計并實現(xiàn)了Query的表征學(xué)習(xí)框架妄均，通過多任務(wù)學(xué)習(xí)和協(xié)同訓(xùn)練等技術(shù)，為Query的打標(biāo)哪自、類目預(yù)測丰包、改寫以及推薦等一系列應(yīng)用提供統(tǒng)一的表征向量。與此同時壤巷，我們還實現(xiàn)了商品的表征學(xué)習(xí)框架邑彪，為商品內(nèi)容理解，商品智能創(chuàng)意胧华，商品語義召回和語義匹配提供統(tǒng)一的商品表征寄症。在Query和商品的表征框架基礎(chǔ)之上，我們實現(xiàn)了語義召回和語義相似度模型矩动，從而完成了從字面匹配到語義匹配的這一質(zhì)的突變有巧。此外，語義搜索除了增加搜索結(jié)果相關(guān)性悲没，提升用戶體驗外篮迎，也可以一定程度上遏制淘寶商品標(biāo)題堆砌熱門關(guān)鍵詞的問題。

在搜索個性化領(lǐng)域示姿，我們通過多項技術(shù)對原先的個性化系統(tǒng)進行了升級：通過多任務(wù)學(xué)習(xí)的深度用戶感知模型甜橱，我們可以從海量用戶行為日志中學(xué)習(xí)用戶的通用表達，從而用于用戶行為識別栈戳、偏好預(yù)估岂傲、個性化召回、個性化排序等任務(wù)荧琼；通過多模態(tài)融合學(xué)習(xí)譬胎，我們可以將商品的文本差牛、圖像、標(biāo)簽堰乔、品牌偏化、類目、店鋪及統(tǒng)計特征等多維度特征自動的融合在一起形成統(tǒng)一的商品表征镐侯；通過在線深度排序?qū)W習(xí)侦讨，我們?nèi)诤狭擞脩魻顟B(tài)實現(xiàn)更加精準(zhǔn)的千人千面的排序模型；通過向量召回引擎苟翻，我們得到了泛化更好的召回結(jié)果韵卤，有效提升了關(guān)鍵字和個性化匹配深度；通過深度遷移學(xué)習(xí)崇猫，我們將搜索個性化技術(shù)在搜索之外的多個場景得到廣泛應(yīng)用沈条。隨著這些深度模型在個性化領(lǐng)域的廣泛使用，個性化系統(tǒng)的精準(zhǔn)度得到了顯著性的提升诅炉。

在智能決策領(lǐng)域蜡歹，我們針對用戶在搜索過程中和引擎的交互特點，對用戶的決策序列進行建模涕烧，提出了提出搜索會話馬爾科夫決策過程模型月而，將強化學(xué)習(xí)引導(dǎo)到搜索排序。同時在針對不同場景下搜索結(jié)果趨同议纯，浪費曝光問題父款，我們提出了基于多智能體協(xié)同學(xué)習(xí)實現(xiàn)了搜索多個異構(gòu)場景間的環(huán)境感知、場景通信瞻凤、單獨決策和聯(lián)合學(xué)習(xí)憨攒，實現(xiàn)聯(lián)合收益最大化，而不是此消彼長鲫构。

經(jīng)過了“檢索時代->大規(guī)模機器學(xué)習(xí)時代->大規(guī)模實時在線學(xué)習(xí)時代->深度學(xué)習(xí)與智能決策時代”這4個歷史階段的耕耘和積累浓恶，我們逐漸形成了今天的搜索算法排序體系（如下圖）。

三结笨、未來發(fā)展：認(rèn)知智能的探索

如上所示包晰，經(jīng)過多年的發(fā)展，搜索和推薦作為阿里電商兩個最大的自然流量入口炕吸，已經(jīng)All in AI伐憾，并形成了完整的用戶偏好在線學(xué)習(xí)，流量的精細化匹配赫模，以及基于強化學(xué)習(xí)等智能決策能力的購物決策體系树肃。

但在這個過程中，搜索排序或者推薦學(xué)習(xí)到的知識更多都是通過已有的商品標(biāo)簽數(shù)據(jù)和用戶行為數(shù)據(jù)來獲取的瀑罗，還缺少對商品和用戶更深層次的認(rèn)知胸嘴，還無法完全理解用戶的多元意圖表達的真實需求雏掠。比如，用戶搜索了“性感連衣裙”劣像，可能是想找“去參加晚場party的低胸晚裝裙”乡话，也可能是想找“去海邊度假的露肩沙灘裙”；用戶收藏了“登山鞋”和“拐杖”耳奕，可能有“登山裝備”的需求绑青，需要發(fā)現(xiàn)更多的和登山裝備相關(guān)的其它品類商品；一個有孩子的爸爸屋群，在暑假剛開始時闸婴，挑選“轉(zhuǎn)換接頭”，查看“大英博物館門票”芍躏，可能是想帶著家人一起“暑期英國親子游”邪乍，需要發(fā)現(xiàn)更多相關(guān)的其它品類商品。

究其原因纸肉，目前人工智能技術(shù)特別是以深度學(xué)習(xí)為代表的模型溺欧，在現(xiàn)實應(yīng)用中快速發(fā)展，最主要受益于海量大數(shù)據(jù)以及大規(guī)模計算能力柏肪，通過對物理世界的數(shù)字化抽象和程式化學(xué)習(xí)，使得人工智能具備很強的限定知識的獲取能力芥牌，而很難獲得數(shù)據(jù)之外的知識烦味，就更不用說知識的類比、遷移和推理了壁拉。而機器的認(rèn)知智能谬俄，比如自主學(xué)習(xí)和發(fā)現(xiàn)，甚至創(chuàng)造能力才是人工智能的更高境界弃理。當(dāng)然通用的人工智能還有很多工作要做溃论，但在這個過程中，怎么樣首先結(jié)合人類知識和機器智能做到初步的認(rèn)知智能痘昌，讓淘寶搜索和推薦擁有智慧化的體驗是我們目前在探索的方向钥勋。

實現(xiàn)認(rèn)知智能，首先需要我們對用戶辆苔，商品算灸，賣家等有更深入的認(rèn)知，系統(tǒng)化的建立起電商領(lǐng)域的認(rèn)知知識體系驻啤。下圖展示了我們定義的電商人-貨-場三維的認(rèn)知圖譜菲驴，由四部分組成，包括用戶骑冗、場景赊瞬、類目（淘寶類目/虛擬類目）和商品先煎。這些不同類型的概念構(gòu)建成了一個異構(gòu)圖，來實現(xiàn)用戶-場景-商品的關(guān)聯(lián)以及各維度數(shù)據(jù)的深刻認(rèn)知巧涧。

圖：人-貨-場三維組成的電商認(rèn)知圖譜示例

其中場景是商品關(guān)系的語義化描述薯蝎，是用戶需求的概念化表示，是連接用戶與商品的橋梁褒侧。從商品端來看良风，場景可以理解為一種具有語義解釋的商品關(guān)系描述，例如同屬“中秋送禮”這一個場景的商品具備在中秋節(jié)作為禮物的商品屬性闷供。從用戶端來看烟央，場景可以看作是對用戶需求的概念化描述，例如“戶外燒烤”歪脏、“度假穿搭”等疑俭。因此我們也可以說，場景是連接用戶與商品的橋梁婿失。這些場景關(guān)系既可以是通過行為數(shù)據(jù)挖掘獲得钞艇，也可以是行業(yè)或?qū)＜抑R的輸入。場景豪硅，類目與商品最終組成統(tǒng)一的場景圖譜哩照。

有了這樣的認(rèn)知圖譜體系后，再通過推理計算識別用戶真實場景訴求懒浮，就可以逐步實現(xiàn)搜索和推薦的認(rèn)知智能化飘弧。這就涉及到認(rèn)知智能體系中另一個重要的部分：基于認(rèn)知圖譜的在線圖計算與推理引擎。有了計算和推理引擎后就可以實現(xiàn)：在用戶需求已有行為表達時砚著，認(rèn)知用戶需求場景次伶，挖掘并滿足用戶更深層的需求；在用戶需求沒有行為表達時稽穆，根據(jù)時間地點冠王、用戶圖譜等信息，擴展和激發(fā)用戶需求舌镶；同時根據(jù)線上投放數(shù)據(jù)和用戶反饋柱彻，優(yōu)化認(rèn)知圖譜的場景挖掘和建設(shè)，持續(xù)不斷修正和發(fā)現(xiàn)場景乎折，提升推理能力绒疗。

認(rèn)知圖譜和在線圖計算與推理引擎的背后，一方面是一系列我們已經(jīng)有沉淀和積累的技術(shù)的深度應(yīng)用骂澄，包括知識表示存儲與推理吓蘑、信息檢索、自然語言處理等一些傳統(tǒng)技術(shù)；另一方面磨镶，認(rèn)知圖譜可以和深度學(xué)習(xí)溃蔫、強化學(xué)習(xí)等近年來取得突破性進展的技術(shù)進行深度融合，例如實體和關(guān)系的向量化表示（embedding）琳猫，使得實體的檢索和關(guān)系的推理從離散走向連續(xù)伟叛；認(rèn)知圖譜作為優(yōu)化約束同現(xiàn)有的深度監(jiān)督網(wǎng)絡(luò)進行融合，將領(lǐng)域知識更加平滑的應(yīng)用到模型中脐嫂，而不是簡單的規(guī)則生效统刮；知識的推理過程中引入序列決策過程建模，使用強化學(xué)習(xí)減少搜索空間以加速推理過程等等账千。

有了認(rèn)知圖譜和在線推理引擎之后侥蒙，在全域的搜索推薦導(dǎo)購、智能交互和內(nèi)容生成等各領(lǐng)域上匀奏，都會發(fā)生各種精妙的化學(xué)反應(yīng)鞭衩，并且在認(rèn)知應(yīng)用過程中，根據(jù)用戶對認(rèn)知推理結(jié)果的反饋娃善，系統(tǒng)持續(xù)迭代優(yōu)化的認(rèn)知圖譜以及推理算法论衍，從而提升認(rèn)知計算能力。逐漸地聚磺，我們可以建設(shè)完成具備自學(xué)習(xí)能力坯台、推理能力和驗證能力的全方位的電商認(rèn)知智能化體系。

四 瘫寝、小結(jié)

搜索推薦算法多年的發(fā)展捂人，就是圍繞著商品與人的連接以及相應(yīng)的商業(yè)訴求，從最初簡單的統(tǒng)計模型矢沿，機器學(xué)習(xí)到形成完整的離線在線與實時的深度學(xué)習(xí)與智能決策體系，不斷突破自我酸纲，讓連接匹配的質(zhì)量更高捣鲸，連接的廣度更寬，同時通過機制設(shè)計促進整個商業(yè)和生態(tài)的健康發(fā)展闽坡，成為整個新商業(yè)發(fā)展的引擎驅(qū)動栽惶。站在今天總結(jié)過去的算法演進，看未來電商搜索推薦算法的發(fā)展疾嗅，期待從機器智能到如何結(jié)合機器智能與人類智能做到真正的認(rèn)知智能實現(xiàn)搜索推薦新的交互和新的體驗外厂。（轉(zhuǎn)自淘大戶）