一 钝荡、淘寶搜索的一些特點

淘寶有幾十億商品羊初，掛靠在幾千個葉子類目蠢挡，上百個一級類目，十幾個行業(yè)下面凳忙。如何能讓用戶找到符合意圖的商品，是淘寶搜索需要解決的首要問題禽炬。

淘寶搜索從大的架構(gòu)或流程上來說涧卵，與傳統(tǒng)的搜索引擎有不少相似的地方。包括對數(shù)據(jù)的整理腹尖、分析柳恐、索引產(chǎn)生索引庫，如何根據(jù)用戶輸入的關(guān)鍵詞在索引倒排表中進(jìn)行檢索热幔，完成商品與檢索之間的相關(guān)度評價乐设，對將要輸出的結(jié)果進(jìn)行排序，并實現(xiàn)某種用戶相關(guān)性反饋機制等绎巨。

當(dāng)然作為電商的商品搜索來說近尚，它天然的商業(yè)屬性帶來的更多是自身獨特的技術(shù)特點。

從數(shù)據(jù)更新角度來看场勤，淘寶的數(shù)據(jù)變化和更新非掣甓停快歼跟。每天大量的新商品數(shù)據(jù)被上傳到網(wǎng)站，一旦新商品被上傳格遭，這個商品就需要被搜索到哈街。不像網(wǎng)頁搜索，任何人可以發(fā)布新的網(wǎng)頁拒迅，但是否被搜索引擎收錄是另一回事骚秦。同時在淘寶每天有大量的商品不停地在做更新，包括商品標(biāo)題描述的變化璧微，商品價格的改變作箍，商品圖片的更新，商品的上下架等等往毡，這些變化也需要實時的更新到搜索中蒙揣，以便讓用戶及時找到更新后的商品信息。而在全網(wǎng)搜索中开瞭，很多網(wǎng)頁是靜態(tài)不變懒震，網(wǎng)頁之間的相互關(guān)系也變化緩慢，大量索引的更新沒有類似淘寶搜索這種實時性的需求嗤详。

在此我向大家推薦一個架構(gòu)學(xué)習(xí)交流群个扰。交流學(xué)習(xí)群號：736220120? 里面會分享一些資深架構(gòu)師錄制的視頻錄像：有Spring，MyBatis葱色，Netty源碼分析递宅，高并發(fā)、高性能苍狰、分布式办龄、微服務(wù)架構(gòu)的原理，JVM性能優(yōu)化淋昭、分布式架構(gòu)等這些成為架構(gòu)師必備的知識體系俐填。還能領(lǐng)取免費的學(xué)習(xí)資源，目前受益良多翔忽。

從搜索數(shù)據(jù)源來看英融，淘寶商品的圖片在用戶研究和購買過程中起到了很大作用，搜索的展現(xiàn)結(jié)果中有很大一部分被圖片所占據(jù)歇式。如何更有效地利用圖片的信息驶悟，無論是根據(jù)圖片來做檢索，或是考慮圖片的質(zhì)量材失，圖片與文本的相互關(guān)系等都是淘寶搜索需要考慮和處理的痕鳍。

另外一個特點是全鏈路特性。搜索龙巨，比較以及購買都發(fā)生在淘寶站內(nèi)额获，不像一般的全網(wǎng)搜索引擎够庙，用戶搜索完后就跳離到其它網(wǎng)站，搜索前和搜索后的用戶行數(shù)據(jù)是很難拿到的抄邀。而在淘寶搜索耘眨，用戶搜索完后，會點擊其中一些商品境肾，然后比較這些商品剔难，和賣家進(jìn)行溝通，然后下單購買奥喻，或者返回來繼續(xù)搜索偶宫，搜索前，搜索中和搜索后的數(shù)據(jù)和信息非常豐富环鲤，有全鏈路的用戶行為數(shù)據(jù)能幫助我們設(shè)計一個更好的搜索排序算法纯趋。

最后更重要的一點淘寶是一個生態(tài)系統(tǒng)。而搜索排序算法的設(shè)計不只是體現(xiàn)了搜索本身的技術(shù)追求冷离，也包含了更多的商業(yè)訴求吵冒。在全網(wǎng)搜索中，一般的網(wǎng)頁是不是被索引西剥，被索引后是不是能展現(xiàn)痹栖，對網(wǎng)頁的擁有者來說并不是一個事關(guān)生活的決定點。在淘寶上則完全不同瞭空，很多商家依賴于淘寶來解決民生就業(yè)問題揪阿，網(wǎng)店的流量以及成交關(guān)系到很多人的生活。在淘寶搜索的算法設(shè)計中咆畏，既要考慮用戶的搜索體驗南捂，也要考慮商業(yè)規(guī)則來保障公平性和流量的分散性。很多的搜索算法原理，規(guī)則或算法結(jié)果都會向賣家宣導(dǎo)，引導(dǎo)賣家向更好的方向發(fā)展棍郎。

image

二、搜索算法技術(shù)演進(jìn)

作為淘寶海量消費者與平臺的互動行為，大量商家在平臺進(jìn)行的商業(yè)活動的最主要承載者枕面，淘寶搜索是大數(shù)據(jù)智能化應(yīng)用的最佳場景愿卒；在淘寶搜索算法多年的發(fā)展過程中，依托于工程架構(gòu)體系的逐步完善潮秘，逐步實現(xiàn)從簡單人工運營加簡單算法規(guī)則的時代琼开，到形成完整的離線在線與實時的深度學(xué)習(xí)與智能決策體系，成為阿里電商平臺流量分發(fā)與商業(yè)驅(qū)動的智能中樞枕荞，總結(jié)搜索算法技術(shù)的迭代進(jìn)步柜候，大概可以分成如下四個階段：

2.1檢索時代

這個階段和業(yè)務(wù)相對應(yīng)搞动，搜索排序主要圍繞規(guī)則和輪播展開。這個階段數(shù)據(jù)量和用戶量還處于可控程度渣刷，具有領(lǐng)域知識的專業(yè)運營和產(chǎn)品往往充當(dāng)信息展示規(guī)則的制定者鹦肿，根據(jù)主觀的判斷和對市場的敏銳度來制定查詢詞背后的商品展示邏輯。當(dāng)然這個階段搜索也會運用一些基本的算法邏輯來保證信息匹配的正確性和人貨匹配的公平性辅柴，基于傳統(tǒng)搜索引擎技術(shù)的相關(guān)性模型箩溃，保證用戶查詢詞語商品標(biāo)題的有效匹配；基于商品成交與否的銷售人氣模型碌嘀，保證有助于被消費者接受的商品得到更多的展示機會涣旨。

但總體來說還是基于人工規(guī)則把各種相關(guān)因子進(jìn)行組合，得出最后的排序股冗∨福“人工規(guī)則”的好處是容易理解和操控，壞處則不言而喻止状，隨著平臺規(guī)模的增大烹棉，簡單規(guī)則無法精細(xì)的表達(dá)人貨匹配的效率，并且容易被一些不良商家利用規(guī)則來擾亂市場秩序导俘；

2.2大規(guī)模機器學(xué)習(xí)時代

隨著平臺規(guī)模的擴大峦耘，大規(guī)模商家入駐，積極地在平臺上打理店鋪旅薄，發(fā)布商品辅髓，相對結(jié)構(gòu)化的商品組織體系，類目結(jié)構(gòu)少梁，屬性信息洛口，基于商品為key 的銷量的累積，評論的累積凯沪，這些為更好地理解商品積累了重要的原始數(shù)據(jù)資料第焰；消費者通過搜索產(chǎn)品的各級頁面與平臺的互動越來越頻繁；數(shù)據(jù)的組織形成了以人為key 的結(jié)構(gòu)體系妨马，反饋信號也得以在閉環(huán)系統(tǒng)中有效的流轉(zhuǎn)挺举；所有的這些都為理解用戶積累了重要的數(shù)據(jù)資料。

有效數(shù)據(jù)的積累為大規(guī)模運用機器學(xué)習(xí)技術(shù)解決問題提供了必要的土壤烘跺。搜索也進(jìn)入到各種大規(guī)模模型的研究和開發(fā)湘纵，比如點擊預(yù)估模型等，研究數(shù)據(jù)特征規(guī)模大滤淳、特征復(fù)雜度高梧喷、數(shù)據(jù)時效性高、模型訓(xùn)練頻繁等相關(guān)的問題，利用不斷增強的計算處理能力铺敌，對百萬乃至十億量級以上的超大規(guī)模數(shù)據(jù)進(jìn)行分析和挖掘汇歹。這時候參與排序的因子也越來越多，從一開始的類目相關(guān)性與文本相關(guān)性偿凭，商品人氣分产弹；再后來為了平衡賣家流量，加入的賣家分笔喉；再后來為了更好的用戶體驗取视，加入了個性化人與商品的點擊預(yù)估，圖像質(zhì)量等因素等等常挚，開始使用類似Learning to Rank（LTR）方法作谭，根據(jù)商品的點擊、成交數(shù)據(jù)構(gòu)造學(xué)習(xí)樣本奄毡，學(xué)習(xí)回歸出排序權(quán)重折欠。

2.3大規(guī)模實時在線學(xué)習(xí)時代

首先，相比通用搜索吼过，電商搜索中對于實時計算/學(xué)習(xí)有著更高的要求锐秦，用戶會有著更豐富的多維度的交互，更長的瀏覽鏈路盗忱。因此酱床，如果用戶在鏈路前期的行為可以實時地被系統(tǒng)捕捉并且建模到引擎中并且作用于鏈路后期，對整個鏈路的效率以及用戶體驗都是及其關(guān)鍵的趟佃。

其次扇谣，用戶的行為分布也不是一成不變的，從而打破離線訓(xùn)練的監(jiān)督學(xué)習(xí)算法所依賴的獨立同分布假設(shè)闲昭，尤其是在雙11這樣的大促場景罐寨，一天的流量和日常數(shù)天的相當(dāng)，分布變化會更加的劇烈序矩。

最后鸯绿，由于搜索展示商品的有限，能夠進(jìn)入日志系統(tǒng)得到用戶反饋的商品集合只占商品全集的一部分簸淀，因此離線訓(xùn)練和線上會有不一致性瓶蝴，這個不一致性在一定程度上可以通過在線學(xué)習(xí)系統(tǒng)緩解。

于是租幕，我們建設(shè)了一套實時計算和在線學(xué)習(xí)系統(tǒng)舷手，支持在秒級別內(nèi)對海量用戶行為及其相關(guān)聯(lián)的海量商品作實時分析處理，從中提取多維度的用戶/商品數(shù)據(jù)特征令蛉，并采用分布式Parameter Server架構(gòu)進(jìn)行在線學(xué)習(xí)，從而使用戶行為可以在幾秒內(nèi)影響搜索排序等在線服務(wù)。

我們逐步實現(xiàn)了“實時特征”->“實時排序因子模型”->“實時頂層LTR/Bandit模型”珠叔，完成了三位一體的實時化建設(shè)蝎宇。我們先后實現(xiàn)了秒級更新的基于pointwise的FTRL、基于pairwise的實時矩陣分解模型和實時雙線性模型等一系列微觀特征祷安，并在此基礎(chǔ)之上實現(xiàn)了實時Learning to rank姥芥，以及實時Multi-Armed Bandit等宏觀調(diào)控模型，實現(xiàn)了雙鏈路實時系統(tǒng)的升級汇鞭。

與此同時凉唐，在線學(xué)習(xí)系統(tǒng)強有力地支持了對流量的精準(zhǔn)調(diào)控，可以更迅速有效地實現(xiàn)商業(yè)決策霍骄。此外台囱，我們還將在線學(xué)習(xí)的算法部分抽象出來，建立了一個通用的一站式在線機器學(xué)習(xí)算法平臺AOP（Algorithm One-stop Platform）读整，使得建立和部署在線學(xué)習(xí)模型更加得便捷和高效簿训，同時具有高度可擴展性。到目前為止米间，在線學(xué)習(xí)系統(tǒng)已經(jīng)成為搜索架構(gòu)中的基礎(chǔ)組件之一强品，在提升用戶搜索體驗，支持商業(yè)決策屈糊，以及支撐雙11等大促效果方面發(fā)揮了巨大作用的榛。

2.4深度學(xué)習(xí)與智能決策時代

以深度學(xué)習(xí)和強化學(xué)習(xí)為代表的人工智能給搜索技術(shù)帶來了全新的變化，特別是在語義搜索逻锐，搜索個性化和智能決策三個方向夫晌。

在語義搜索領(lǐng)域，我們設(shè)計并實現(xiàn)了Query的表征學(xué)習(xí)框架谦去，通過多任務(wù)學(xué)習(xí)和協(xié)同訓(xùn)練等技術(shù)慷丽，為Query的打標(biāo)、類目預(yù)測鳄哭、改寫以及推薦等一系列應(yīng)用提供統(tǒng)一的表征向量要糊。與此同時，我們還實現(xiàn)了商品的表征學(xué)習(xí)框架妆丘，為商品內(nèi)容理解锄俄，商品智能創(chuàng)意，商品語義召回和語義匹配提供統(tǒng)一的商品表征勺拣。在Query和商品的表征框架基礎(chǔ)之上奶赠，我們實現(xiàn)了語義召回和語義相似度模型，從而完成了從字面匹配到語義匹配的這一質(zhì)的突變药有。此外毅戈，語義搜索除了增加搜索結(jié)果相關(guān)性苹丸，提升用戶體驗外，也可以一定程度上遏制淘寶商品標(biāo)題堆砌熱門關(guān)鍵詞的問題苇经。

在搜索個性化領(lǐng)域赘理，我們通過多項技術(shù)對原先的個性化系統(tǒng)進(jìn)行了升級：通過多任務(wù)學(xué)習(xí)的深度用戶感知模型，我們可以從海量用戶行為日志中學(xué)習(xí)用戶的通用表達(dá)扇单，從而用于用戶行為識別商模、偏好預(yù)估、個性化召回蜘澜、個性化排序等任務(wù)施流；通過多模態(tài)融合學(xué)習(xí)，我們可以將商品的文本鄙信、圖像瞪醋、標(biāo)簽、品牌扮碧、類目趟章、店鋪及統(tǒng)計特征等多維度特征自動的融合在一起形成統(tǒng)一的商品表征；通過在線深度排序?qū)W習(xí)慎王，我們?nèi)诤狭擞脩魻顟B(tài)實現(xiàn)更加精準(zhǔn)的千人千面的排序模型蚓土；通過向量召回引擎，我們得到了泛化更好的召回結(jié)果赖淤，有效提升了關(guān)鍵字和個性化匹配深度蜀漆；通過深度遷移學(xué)習(xí)，我們將搜索個性化技術(shù)在搜索之外的多個場景得到廣泛應(yīng)用咱旱。隨著這些深度模型在個性化領(lǐng)域的廣泛使用确丢，個性化系統(tǒng)的精準(zhǔn)度得到了顯著性的提升。

在智能決策領(lǐng)域吐限，我們針對用戶在搜索過程中和引擎的交互特點鲜侥，對用戶的決策序列進(jìn)行建模，提出了提出搜索會話馬爾科夫決策過程模型诸典，將強化學(xué)習(xí)引導(dǎo)到搜索排序描函。同時在針對不同場景下搜索結(jié)果趨同，浪費曝光問題狐粱，我們提出了基于多智能體協(xié)同學(xué)習(xí)實現(xiàn)了搜索多個異構(gòu)場景間的環(huán)境感知舀寓、場景通信、單獨決策和聯(lián)合學(xué)習(xí)肌蜻，實現(xiàn)聯(lián)合收益最大化互墓，而不是此消彼長。

經(jīng)過了“檢索時代->大規(guī)模機器學(xué)習(xí)時代->大規(guī)模實時在線學(xué)習(xí)時代->深度學(xué)習(xí)與智能決策時代”這4個歷史階段的耕耘和積累蒋搜，我們逐漸形成了今天的搜索算法排序體系（如下圖）篡撵。

image

三判莉、未來發(fā)展：認(rèn)知智能的探索

如上所示，經(jīng)過多年的發(fā)展育谬，搜索和推薦作為阿里電商兩個最大的自然流量入口骂租，已經(jīng)All in AI，并形成了完整的用戶偏好在線學(xué)習(xí)斑司，流量的精細(xì)化匹配，以及基于強化學(xué)習(xí)等智能決策能力的購物決策體系但汞。

但在這個過程中宿刮，搜索排序或者推薦學(xué)習(xí)到的知識更多都是通過已有的商品標(biāo)簽數(shù)據(jù)和用戶行為數(shù)據(jù)來獲取的，還缺少對商品和用戶更深層次的認(rèn)知私蕾，還無法完全理解用戶的多元意圖表達(dá)的真實需求僵缺。比如，用戶搜索了“性感連衣裙”踩叭，可能是想找“去參加晚場party的低胸晚裝裙”磕潮，也可能是想找“去海邊度假的露肩沙灘裙”；用戶收藏了“登山鞋”和“拐杖”容贝，可能有“登山裝備”的需求自脯，需要發(fā)現(xiàn)更多的和登山裝備相關(guān)的其它品類商品；一個有孩子的爸爸斤富，在暑假剛開始時膏潮，挑選“轉(zhuǎn)換接頭”，查看“大英博物館門票”满力，可能是想帶著家人一起“暑期英國親子游”焕参，需要發(fā)現(xiàn)更多相關(guān)的其它品類商品。

究其原因油额，目前人工智能技術(shù)特別是以深度學(xué)習(xí)為代表的模型叠纷，在現(xiàn)實應(yīng)用中快速發(fā)展，最主要受益于海量大數(shù)據(jù)以及大規(guī)模計算能力潦嘶，通過對物理世界的數(shù)字化抽象和程式化學(xué)習(xí)涩嚣，使得人工智能具備很強的限定知識的獲取能力，而很難獲得數(shù)據(jù)之外的知識衬以，就更不用說知識的類比缓艳、遷移和推理了。而機器的認(rèn)知智能看峻，比如自主學(xué)習(xí)和發(fā)現(xiàn)阶淘，甚至創(chuàng)造能力才是人工智能的更高境界。當(dāng)然通用的人工智能還有很多工作要做互妓，但在這個過程中溪窒，怎么樣首先結(jié)合人類知識和機器智能做到初步的認(rèn)知智能坤塞，讓淘寶搜索和推薦擁有智慧化的體驗是我們目前在探索的方向。

實現(xiàn)認(rèn)知智能澈蚌，首先需要我們對用戶摹芙，商品，賣家等有更深入的認(rèn)知宛瞄，系統(tǒng)化的建立起電商領(lǐng)域的認(rèn)知知識體系浮禾。下圖展示了我們定義的電商人-貨-場三維的認(rèn)知圖譜，由四部分組成份汗，包括用戶盈电、場景、類目（淘寶類目/虛擬類目）和商品杯活。這些不同類型的概念構(gòu)建成了一個異構(gòu)圖匆帚，來實現(xiàn)用戶-場景-商品的關(guān)聯(lián)以及各維度數(shù)據(jù)的深刻認(rèn)知。

image

圖：人-貨-場三維組成的電商認(rèn)知圖譜示例

其中場景是商品關(guān)系的語義化描述旁钧，是用戶需求的概念化表示吸重，是連接用戶與商品的橋梁。從商品端來看歪今，場景可以理解為一種具有語義解釋的商品關(guān)系描述嚎幸，例如同屬“中秋送禮”這一個場景的商品具備在中秋節(jié)作為禮物的商品屬性。從用戶端來看寄猩，場景可以看作是對用戶需求的概念化描述鞭铆，例如“戶外燒烤”、“度假穿搭”等焦影。因此我們也可以說车遂，場景是連接用戶與商品的橋梁。這些場景關(guān)系既可以是通過行為數(shù)據(jù)挖掘獲得斯辰，也可以是行業(yè)或?qū)＜抑R的輸入舶担。場景，類目與商品最終組成統(tǒng)一的場景圖譜彬呻。

有了這樣的認(rèn)知圖譜體系后衣陶，再通過推理計算識別用戶真實場景訴求，就可以逐步實現(xiàn)搜索和推薦的認(rèn)知智能化闸氮。這就涉及到認(rèn)知智能體系中另一個重要的部分：基于認(rèn)知圖譜的在線圖計算與推理引擎剪况。有了計算和推理引擎后就可以實現(xiàn)：在用戶需求已有行為表達(dá)時，認(rèn)知用戶需求場景蒲跨，挖掘并滿足用戶更深層的需求译断；在用戶需求沒有行為表達(dá)時，根據(jù)時間地點或悲、用戶圖譜等信息孙咪，擴展和激發(fā)用戶需求堪唐；同時根據(jù)線上投放數(shù)據(jù)和用戶反饋，優(yōu)化認(rèn)知圖譜的場景挖掘和建設(shè)翎蹈，持續(xù)不斷修正和發(fā)現(xiàn)場景淮菠，提升推理能力。

認(rèn)知圖譜和在線圖計算與推理引擎的背后荤堪，一方面是一系列我們已經(jīng)有沉淀和積累的技術(shù)的深度應(yīng)用合陵，包括知識表示存儲與推理、信息檢索澄阳、自然語言處理等一些傳統(tǒng)技術(shù)曙寡；另一方面，認(rèn)知圖譜可以和深度學(xué)習(xí)寇荧、強化學(xué)習(xí)等近年來取得突破性進(jìn)展的技術(shù)進(jìn)行深度融合，例如實體和關(guān)系的向量化表示（embedding）执隧，使得實體的檢索和關(guān)系的推理從離散走向連續(xù)揩抡；認(rèn)知圖譜作為優(yōu)化約束同現(xiàn)有的深度監(jiān)督網(wǎng)絡(luò)進(jìn)行融合，將領(lǐng)域知識更加平滑的應(yīng)用到模型中镀琉，而不是簡單的規(guī)則生效峦嗤；知識的推理過程中引入序列決策過程建模，使用強化學(xué)習(xí)減少搜索空間以加速推理過程等等屋摔。

有了認(rèn)知圖譜和在線推理引擎之后烁设，在全域的搜索推薦導(dǎo)購、智能交互和內(nèi)容生成等各領(lǐng)域上钓试，都會發(fā)生各種精妙的化學(xué)反應(yīng)装黑，并且在認(rèn)知應(yīng)用過程中，根據(jù)用戶對認(rèn)知推理結(jié)果的反饋弓熏，系統(tǒng)持續(xù)迭代優(yōu)化的認(rèn)知圖譜以及推理算法恋谭，從而提升認(rèn)知計算能力。逐漸地挽鞠，我們可以建設(shè)完成具備自學(xué)習(xí)能力疚颊、推理能力和驗證能力的全方位的電商認(rèn)知智能化體系。

四 信认、小結(jié)

搜索推薦算法多年的發(fā)展材义，就是圍繞著商品與人的連接以及相應(yīng)的商業(yè)訴求，從最初簡單的統(tǒng)計模型嫁赏，機器學(xué)習(xí)到形成完整的離線在線與實時的深度學(xué)習(xí)與智能決策體系其掂，不斷突破自我，讓連接匹配的質(zhì)量更高潦蝇，連接的廣度更寬清寇，同時通過機制設(shè)計促進(jìn)整個商業(yè)和生態(tài)的健康發(fā)展喘漏，成為整個新商業(yè)發(fā)展的引擎驅(qū)動。站在今天總結(jié)過去的算法演進(jìn)华烟，看未來電商搜索推薦算法的發(fā)展翩迈，期待從機器智能到如何結(jié)合機器智能與人類智能做到真正的認(rèn)知智能實現(xiàn)搜索推薦新的交互和新的體驗。

作者：大齊老師

鏈接：http://www.reibang.com/p/0d79854acd88

來源：簡書

簡書著作權(quán)歸作者所有盔夜，任何形式的轉(zhuǎn)載都請聯(lián)系作者獲得授權(quán)并注明出處负饲。