讀知乎文章《推薦系統(tǒng)技術(shù)演進(jìn)趨勢(shì)：從召回到排序再到重排》筆記：
《推薦系統(tǒng)技術(shù)演進(jìn)趨勢(shì)：從召回到排序再到重排》這篇文章主要說(shuō)了下最近兩年凿将，推薦系統(tǒng)技術(shù)的一些比較明顯的技術(shù)發(fā)展趨勢(shì)嘶摊。主要從以下幾個(gè)方面介紹：
推薦系統(tǒng)整體架構(gòu)
召回技術(shù)演進(jìn)趨勢(shì)
排序模型技術(shù)演進(jìn)趨勢(shì)
重排技術(shù)演進(jìn)趨勢(shì)
一整陌、推薦系統(tǒng)整體架構(gòu)
推薦系統(tǒng)宏觀架構(gòu)：
細(xì)分四階段：
二、召回技術(shù)演進(jìn)趨勢(shì)
1埃唯、傳統(tǒng)：多路召回（每一路召回相當(dāng)于單特征排序結(jié)果）
2摄闸、未來(lái)：模型召回（引入多特征赢乓，把單特征排序拓展成多特征排序的模型）
（1）模型召回
根據(jù)用戶物品Embedding，采用類(lèi)似Faiss等高效Embedding檢索工具孵睬，快速找出和用戶興趣匹配的物品播歼，這樣就等于做出了利用多特征融合的召回模型了。
理論上來(lái)說(shuō)肪康，任何你能見(jiàn)到的有監(jiān)督模型荚恶，都可以用來(lái)做這個(gè)召回模型，比如FM／FFM／DNN等磷支，常說(shuō)的所謂“雙塔”模型雇庙，指的其實(shí)是用戶側(cè)和物品側(cè)特征分離分別打Embedding的結(jié)構(gòu)而已，并非具體的模型典格。
值得注意的一點(diǎn)是：如果在召回階段使用模型召回母怜，理論上也應(yīng)該同步采用和排序模型相同的優(yōu)化目標(biāo)，尤其是如果排序階段采用多目標(biāo)優(yōu)化的情況下，召回模型也應(yīng)該對(duì)應(yīng)采取相同的多目標(biāo)優(yōu)化辩蛋。同理呻畸，如果整個(gè)流程中包含粗排模塊，粗排也應(yīng)該采用和精排相同的多目標(biāo)優(yōu)化悼院，幾個(gè)環(huán)節(jié)優(yōu)化目標(biāo)應(yīng)保持一致伤为。因?yàn)檎倩睾痛峙攀蔷诺那爸铆h(huán)節(jié)，否則据途，如果優(yōu)化目標(biāo)不一致绞愚，很可能會(huì)出現(xiàn)高質(zhì)量精排目標(biāo)，在前置環(huán)節(jié)就被過(guò)濾掉的可能颖医，影響整體效果位衩。
（2）用戶行為序列召回
核心在于：這個(gè)物品聚合函數(shù)Fun如何定義的問(wèn)題。這里需要注意的一點(diǎn)是：用戶行為序列中的物品熔萧，是有時(shí)間順序的糖驴。理論上，任何能夠體現(xiàn)時(shí)序特點(diǎn)或特征局部性關(guān)聯(lián)的模型佛致，都比較適合應(yīng)用在這里贮缕，典型的比如CNN、RNN晌杰、Transformer跷睦、GRU（RNN的變體模型）等，都比較適合用來(lái)集成用戶行為序列信息肋演。
在召回階段抑诸，如何根據(jù)用戶行為序列打embedding，可以采取有監(jiān)督的模型爹殊，比如Next Item Prediction的預(yù)測(cè)方式即可蜕乡；也可以采用無(wú)監(jiān)督的方式，比如物品只要能打出embedding梗夸，就能無(wú)監(jiān)督集成用戶行為序列內(nèi)容层玲，例如Sum Pooling。
（3）用戶多興趣拆分（利用用戶行為物品序列反症，打出用戶興趣Embedding的做法）
（4）知識(shí)圖譜融合召回
根據(jù)用戶的興趣實(shí)體辛块，通過(guò)知識(shí)圖譜的實(shí)體Embedding化表達(dá)后（或者直接在知識(shí)圖譜節(jié)點(diǎn)上外擴(kuò)），通過(guò)知識(shí)外擴(kuò)或者可以根據(jù)Embedding相似性铅碍，拓展出相關(guān)實(shí)體润绵。
（5）圖神經(jīng)網(wǎng)絡(luò)模型召回
圖神經(jīng)網(wǎng)絡(luò)的最終目的是要通過(guò)一定技術(shù)手段，獲得圖中節(jié)點(diǎn)的embedding編碼胞谈。最常用的embedding聚合工具是CNN尘盼，對(duì)于某個(gè)圖節(jié)點(diǎn)來(lái)說(shuō)憨愉，它的輸入可以有兩類(lèi)信息，一類(lèi)是自身的屬性信息卿捎，比如上面舉的微博的例子配紫；另外一類(lèi)是圖結(jié)構(gòu)信息，就是和當(dāng)前節(jié)點(diǎn)有直接邊關(guān)聯(lián)的其它節(jié)點(diǎn)信息午阵。通過(guò)CNN躺孝，可以對(duì)兩類(lèi)信息進(jìn)行編碼和聚合，形成圖節(jié)點(diǎn)的embedding底桂。通過(guò)CNN等信息聚合器括细，在圖節(jié)點(diǎn)上進(jìn)行計(jì)算，并反復(fù)迭代更新圖節(jié)點(diǎn)的embedding戚啥，就能夠最終獲得可靠的圖節(jié)點(diǎn)embedding信息，而這種迭代過(guò)程锉试，其實(shí)體現(xiàn)的是遠(yuǎn)距離的節(jié)點(diǎn)將信息逐步通過(guò)圖結(jié)構(gòu)傳遞信息的過(guò)程猫十，所以圖結(jié)構(gòu)是可以進(jìn)行知識(shí)傳遞和補(bǔ)充的。
我們可以進(jìn)一步思考下呆盖，圖節(jié)點(diǎn)因?yàn)榭梢詭в袑傩孕畔⑼显疲热缥锲返腃ontent信息，所以明顯這對(duì)于解決物品側(cè)的冷啟動(dòng)問(wèn)題有幫助应又；而因?yàn)樗苍试S知識(shí)在圖中遠(yuǎn)距離進(jìn)行傳遞宙项，所以比如對(duì)于用戶行為比較少的場(chǎng)景，可以形成知識(shí)傳遞和補(bǔ)充株扛，這說(shuō)明它也比較適合用于數(shù)據(jù)稀疏的推薦場(chǎng)景尤筐；另外一面，圖中的邊往往是通過(guò)用戶行為構(gòu)建的洞就，而用戶行為盆繁，在統(tǒng)計(jì)層面來(lái)看，本質(zhì)上是一種協(xié)同信息旬蟋，比如我們常說(shuō)的“A物品協(xié)同B物品”油昂，本質(zhì)上就是說(shuō)很多用戶行為了物品A后，大概率會(huì)去對(duì)物品B進(jìn)行行為倾贰；所以圖具備的一個(gè)很好的優(yōu)勢(shì)是：它比較便于把協(xié)同信息冕碟、用戶行為信息、內(nèi)容屬性信息等各種異質(zhì)信息在一個(gè)統(tǒng)一的框架里進(jìn)行融合匆浙，并統(tǒng)一表征為embedding的形式安寺，這是它獨(dú)有的一個(gè)優(yōu)勢(shì)，做起來(lái)比較自然吞彤。另外的一個(gè)特有優(yōu)勢(shì)我衬，就是信息在圖中的傳播性叹放，所以對(duì)于推薦的冷啟動(dòng)以及數(shù)據(jù)稀疏場(chǎng)景應(yīng)該特別有用。
早期的圖神經(jīng)網(wǎng)絡(luò)做推薦挠羔，因?yàn)樾枰中畔⒕觯杂?jì)算速度是個(gè)問(wèn)題，往往圖規(guī)模都非常小破加，不具備實(shí)戰(zhàn)價(jià)值俱恶。而GraphSAGE則通過(guò)一些手段比如從臨近節(jié)點(diǎn)進(jìn)行采樣等減少計(jì)算規(guī)模，加快計(jì)算速度范舀，很多后期改進(jìn)計(jì)算效率的方法都是從這個(gè)工作衍生的合是；而PinSage在GraphSAGE基礎(chǔ)上（這是同一撥人做的），進(jìn)一步采取大規(guī)模分布式計(jì)算锭环，拓展了圖計(jì)算的實(shí)用性聪全，可以計(jì)算Pinterest的30億規(guī)模節(jié)點(diǎn)、180億規(guī)模邊的巨型圖辅辩，并產(chǎn)生了較好的落地效果难礼。所以這兩個(gè)工作可以重點(diǎn)借鑒一下。
總體而言玫锋，圖模型召回蛾茉，是個(gè)很有前景的值得探索的方向。
三撩鹿、排序模型技術(shù)演進(jìn)趨勢(shì)
模型優(yōu)化目標(biāo)則體現(xiàn)了我們希望推薦系統(tǒng)去做好什么谦炬，往往跟業(yè)務(wù)目標(biāo)有關(guān)聯(lián)，這里我們主要從技術(shù)角度來(lái)探討节沦，而多目標(biāo)優(yōu)化以及ListWise最優(yōu)是目前最常見(jiàn)的技術(shù)進(jìn)化方向键思，ListWise優(yōu)化目標(biāo)在排序階段和重排階段都可采用，我們把它放到重排部分去講甫贯，這里主要介紹多目標(biāo)優(yōu)化稚机；
模型表達(dá)能力代表了模型是否具備充分利用有效特征及特征組合的能力，其中顯示特征組合获搏、新型特征抽取器赖条、增強(qiáng)學(xué)習(xí)技術(shù)應(yīng)用以及AutoML自動(dòng)探索模型結(jié)構(gòu)是這方面明顯的技術(shù)進(jìn)化方向；
從特征和信息角度常熙，如何采用更豐富的新類(lèi)型特征纬乍，以及信息和特征的擴(kuò)充及融合是主要技術(shù)進(jìn)化方向，用戶長(zhǎng)短期興趣分離裸卫、用戶行為序列數(shù)據(jù)的使用仿贬、圖神經(jīng)網(wǎng)絡(luò)以及多模態(tài)融合等是這方面的主要技術(shù)趨勢(shì)。
1.1 模型優(yōu)化目標(biāo)-多目標(biāo)優(yōu)化
推薦系統(tǒng)的多目標(biāo)優(yōu)化（點(diǎn)擊墓贿，互動(dòng)茧泪，時(shí)長(zhǎng)等多個(gè)目標(biāo)同時(shí)優(yōu)化）嚴(yán)格來(lái)說(shuō)不僅僅是趨勢(shì)蜓氨，而是目前很多公司的研發(fā)現(xiàn)狀。對(duì)于推薦系統(tǒng)來(lái)說(shuō)队伟，不同的優(yōu)化目標(biāo)可能存在互相拉后腿的現(xiàn)象穴吹，多目標(biāo)旨在平衡不同目標(biāo)的相互影響，而如果多目標(biāo)優(yōu)化效果好嗜侮，對(duì)于業(yè)務(wù)效果的推動(dòng)作用也非常大港令。總而言之锈颗，多目標(biāo)優(yōu)化是值得推薦系統(tǒng)相關(guān)研發(fā)人員重點(diǎn)關(guān)注的技術(shù)方向顷霹。
從技術(shù)角度講，多目標(biāo)優(yōu)化最關(guān)鍵的有兩個(gè)問(wèn)題击吱。第一個(gè)問(wèn)題是多個(gè)優(yōu)化目標(biāo)的模型結(jié)構(gòu)問(wèn)題淋淀；第二個(gè)問(wèn)題是不同優(yōu)化目標(biāo)的重要性如何界定的問(wèn)題（超參如何尋優(yōu)）。
2.1 模型表達(dá)能力-顯式特征組合
如果歸納下工業(yè)界CTR模型的演化歷史的話覆醇，你會(huì)發(fā)現(xiàn)绅喉，特征工程及特征組合的自動(dòng)化，一直是推動(dòng)實(shí)用化推薦系統(tǒng)技術(shù)演進(jìn)最主要的方向叫乌，而且沒(méi)有之一。最早的LR模型徽缚，基本是人工特征工程及人工進(jìn)行特征組合的憨奸，簡(jiǎn)單有效但是費(fèi)時(shí)費(fèi)力；再發(fā)展到LR+GBDT的高階特征組合自動(dòng)化凿试，以及FM模型的二階特征組合自動(dòng)化排宰；再往后就是DNN模型的引入，純粹的簡(jiǎn)單DNN模型本質(zhì)上其實(shí)是在FM模型的特征Embedding化基礎(chǔ)上那婉，添加幾層MLP隱層來(lái)進(jìn)行隱式的特征非線性自動(dòng)組合而已板甘。
2.2 模型表達(dá)能力-特征抽取器的進(jìn)化
從特征抽取器的角度來(lái)看，目前主流的DNN 排序模型详炬，最常用的特征抽取器仍然是MLP結(jié)構(gòu)盐类，圖像領(lǐng)域的CNN、NLP領(lǐng)域的RNN和Transformer呛谜。
MLP結(jié)構(gòu)通常是兩層或者三層的MLP隱層在跳。目前也有理論研究表明：MLP結(jié)構(gòu)用來(lái)捕獲特征組合，是效率比較低下的隐岛。
CNN捕獲局部特征關(guān)聯(lián)是非常有效的結(jié)構(gòu)猫妙，但是并不太適合做純特征輸入的推薦模型，因?yàn)橥扑]領(lǐng)域的特征之間聚凹，在輸入順序上并無(wú)必然的序列關(guān)系割坠，CNN的捕獲遠(yuǎn)距離特征關(guān)系能力差的弱點(diǎn)齐帚，以及RNN的不可并行處理、所以速度慢的劣勢(shì)等彼哼。
Transformer作為NLP領(lǐng)域最新型也是最有效的特征抽取器对妄，從其工作機(jī)制來(lái)說(shuō)，其實(shí)是非常適合用來(lái)做推薦的沪羔。為什么這么說(shuō)呢饥伊？核心在于Transformer的Multi-Head Self Attention機(jī)制上。MHA結(jié)構(gòu)在NLP里面蔫饰，會(huì)對(duì)輸入句子中任意兩個(gè)單詞的相關(guān)程度作出判斷琅豆，而如果把這種關(guān)系套用到推薦領(lǐng)域，就是通過(guò)MHA來(lái)對(duì)任意特征進(jìn)行特征組合篓吁，而上文說(shuō)過(guò)茫因，特征組合對(duì)于推薦是個(gè)很重要的環(huán)節(jié)，所以從這個(gè)角度來(lái)說(shuō)杖剪，Transformer是特別適合來(lái)對(duì)特征組合進(jìn)行建模的冻押，一層Transformer Block代表了特征的二階組合，更多的Transformer Block代表了更高階的特征組合盛嘿。但是洛巢，實(shí)際上如果應(yīng)用Transformer來(lái)做推薦，其應(yīng)用效果并沒(méi)有體現(xiàn)出明顯優(yōu)勢(shì)次兆，甚至沒(méi)有體現(xiàn)出什么優(yōu)勢(shì)稿茉，基本稍微好于或者類(lèi)似于典型的MLP結(jié)構(gòu)的效果。這意味著芥炭，可能我們需要針對(duì)推薦領(lǐng)域特點(diǎn)漓库，對(duì)Transformer需要進(jìn)行針對(duì)性的改造，而不是完全直接照搬NLP里的結(jié)構(gòu)园蝠。
截一張張老師其他關(guān)于Transformer的圖渺蒿，足以說(shuō)明Transformer的意義，但現(xiàn)在還不是很懂彪薛，哈哈~
2.3 AutoML在推薦的應(yīng)用
AutoML在17年初開(kāi)始出現(xiàn)茂装，最近三年蓬勃發(fā)展，在比如圖像領(lǐng)域善延、NLP領(lǐng)域等都有非常重要的研究進(jìn)展训唱，在這些領(lǐng)域，目前都能通過(guò)AutoML找到比人設(shè)計(jì)的效果更好的模型結(jié)構(gòu)挚冤。
2.4 增強(qiáng)學(xué)習(xí)在推薦的應(yīng)用
增強(qiáng)學(xué)習(xí)其實(shí)是比較吻合推薦場(chǎng)景建模的。一般而言训挡，增強(qiáng)學(xué)習(xí)有幾個(gè)關(guān)鍵要素：狀態(tài)澳骤、行為以及回報(bào)歧强。在推薦場(chǎng)景下，我們可以把狀態(tài)St定義為用戶的行為歷史物品集合为肮；推薦系統(tǒng)可選的行為空間則是根據(jù)用戶當(dāng)前狀態(tài)St推薦給用戶的推薦結(jié)果列表摊册，這里可以看出，推薦場(chǎng)景下颊艳，用戶行為空間是巨大無(wú)比的茅特，這制約了很多無(wú)法對(duì)巨大行為空間建模的增強(qiáng)學(xué)習(xí)方法的應(yīng)用；而回報(bào)呢棋枕，則是用戶對(duì)推薦系統(tǒng)給出的列表內(nèi)容進(jìn)行互動(dòng)的行為價(jià)值白修，比如可以定義點(diǎn)擊了某個(gè)物品，則回報(bào)是1重斑，購(gòu)買(mǎi)了某個(gè)物品兵睛，回報(bào)是5….諸如此類(lèi)。有了這幾個(gè)要素的場(chǎng)景定義窥浪，就可以用典型的增強(qiáng)學(xué)習(xí)來(lái)對(duì)推薦進(jìn)行建模祖很。
3.1?多模態(tài)信息融合
多模態(tài)融合，從技術(shù)手段來(lái)說(shuō)漾脂，本質(zhì)上是把不同模態(tài)類(lèi)型的信息假颇，通過(guò)比如Embedding編碼，映射到統(tǒng)一的語(yǔ)義空間內(nèi)骨稿，使得不同模態(tài)的信息笨鸡，表達(dá)相同語(yǔ)義的信息完全可類(lèi)比。比如說(shuō)自然語(yǔ)言說(shuō)的單詞“蘋(píng)果”啊终，和一張?zhí)O果的圖片，應(yīng)該通過(guò)一定的技術(shù)手段傲须，對(duì)兩者進(jìn)行信息編碼蓝牲，比如打出的embedding，相似度是很高的泰讽，這意味著不同模態(tài)的知識(shí)映射到了相同的語(yǔ)義空間了例衍。這樣，你可以通過(guò)文本的蘋(píng)果已卸，比如搜索包含蘋(píng)果的照片佛玄。
3.2?長(zhǎng)期興趣／短期興趣分離
對(duì)于推薦系統(tǒng)而言，準(zhǔn)確描述用戶興趣是非常重要的累澡。目前常用的描述用戶興趣的方式主要有兩類(lèi)梦抢。一類(lèi)是以用戶側(cè)特征的角度來(lái)表征用戶興趣，也是最常見(jiàn)的愧哟；另外一類(lèi)是以用戶發(fā)生過(guò)行為的物品序列作為用戶興趣的表征奥吩。
四哼蛆、重排技術(shù)演進(jìn)趨勢(shì)
關(guān)于List Wise重排序，可以從兩個(gè)角度來(lái)說(shuō)霞赫，一個(gè)是優(yōu)化目標(biāo)或損失函數(shù)腮介；一個(gè)是推薦模塊的模型結(jié)構(gòu)。
推薦系統(tǒng)里L(fēng)earning to Rank做排序端衰，我們知道常見(jiàn)的有三種優(yōu)化目標(biāo)：Point Wise叠洗、Pair Wise和List Wise。所以我們首先應(yīng)該明確的一點(diǎn)是：List Wise它不是指的具體的某個(gè)或者某類(lèi)模型旅东，而是指的模型的優(yōu)化目標(biāo)或者損失函數(shù)定義方式灭抑，理論上各種不用的模型都可以使用List Wise損失來(lái)進(jìn)行模型訓(xùn)練。最簡(jiǎn)單的損失函數(shù)定義是Point Wise玉锌，就是輸入用戶特征和單個(gè)物品特征名挥，對(duì)這個(gè)物品進(jìn)行打分，物品之間的排序主守，就是誰(shuí)應(yīng)該在誰(shuí)前面禀倔，不用考慮。明顯這種方式無(wú)論是訓(xùn)練還是在線推理参淫，都非常簡(jiǎn)單直接效率高救湖，但是它的缺點(diǎn)是沒(méi)有考慮物品直接的關(guān)聯(lián)，而這在排序中其實(shí)是有用的涎才。Pair Wise損失在訓(xùn)練模型時(shí)鞋既，直接用兩個(gè)物品的順序關(guān)系來(lái)訓(xùn)練模型，就是說(shuō)優(yōu)化目標(biāo)是物品A排序要高于物品B耍铜，類(lèi)似這種優(yōu)化目標(biāo)邑闺。其實(shí)Pair Wise的Loss在推薦領(lǐng)域已經(jīng)被非常廣泛得使用，比如BPR損失棕兼，就是典型且非常有效的Pair Wise的Loss Function陡舅，經(jīng)常被使用，尤其在隱式反饋中伴挚，是非常有效的優(yōu)化目標(biāo)靶衍。List Wise的Loss更關(guān)注整個(gè)列表中物品順序關(guān)系，會(huì)從列表整體中物品順序的角度考慮茎芋，來(lái)優(yōu)化模型颅眶。在推薦中，List Wise損失函數(shù)因?yàn)橛?xùn)練數(shù)據(jù)的制作難田弥，訓(xùn)練速度慢涛酗，在線推理速度慢等多種原因，盡管用的還比較少，但是因?yàn)楦⒅嘏判蚪Y(jié)果整體的最優(yōu)性煤杀，所以也是目前很多推薦系統(tǒng)正在做的事情眷蜈。
從模型結(jié)構(gòu)上來(lái)看。因?yàn)橹嘏判蚰K往往是放在精排模塊之后沈自，而精排已經(jīng)對(duì)推薦物品做了比較準(zhǔn)確的打分酌儒，所以往往重排模塊的輸入是精排模塊的Top得分輸出結(jié)果，也就是說(shuō)枯途，是有序的忌怎。而精排模塊的打分或者排序?qū)τ谥嘏拍K來(lái)說(shuō)，是非常重要的參考信息酪夷。于是榴啸，這個(gè)排序模塊的輸出順序就比較重要，而能夠考慮到輸入的序列性的模型晚岭，自然就是重排模型的首選鸥印。我們知道，最常見(jiàn)的考慮時(shí)序性的模型是RNN和Transformer坦报，所以經(jīng)常把這兩類(lèi)模型用在重排模塊库说，這是很自然的事情。一般的做法是：排序Top結(jié)果的物品有序片择，作為RNN或者Transformer的輸入潜的，RNN或者Transformer明顯可以考慮在特征級(jí)別，融合當(dāng)前物品上下文字管，也就是排序列表中其它物品啰挪，的特征，來(lái)從列表整體評(píng)估效果嘲叔。RNN或者Transformer每個(gè)輸入對(duì)應(yīng)位置經(jīng)過(guò)特征融合亡呵，再次輸出預(yù)測(cè)得分，按照新預(yù)測(cè)的得分重新對(duì)物品排序硫戈，就完成了融合上下文信息锰什，進(jìn)行重新排序的目的。
參考資料：
1掏愁、推薦系統(tǒng)技術(shù)演進(jìn)趨勢(shì)：從召回到排序再到重排
https://zhuanlan.zhihu.com/p/100019681
2歇由、模型召回典型工作：
FM模型召回：推薦系統(tǒng)召回四模型之：全能的FM模型
DNN雙塔召回：Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations
3卵牍、用戶行為序列召回典型工作：
GRU：Recurrent Neural Networks with Top-k Gains for Session-based Recommendations
CNN：Personalized Top-N Sequential Recommendation via Convolutional Sequence Embedding
Transformer: Self-Attentive Sequential Recommendation
4果港、知識(shí)圖譜融合召回典型工作：
KGAT: Knowledge Graph Attention Network for Recommendation
RippleNet: Propagating User Preferences on the Knowledge Graph for Recommender Systems
5、圖神經(jīng)網(wǎng)絡(luò)模型召回典型工作：
GraphSAGE: Inductive Representation Learning on Large Graphs
PinSage: Graph Convolutional Neural Networks for Web-Scale Recommender Systems
6糊昙、模型多目標(biāo)優(yōu)化典型工作：
MMOE：Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
帕累托最優(yōu)：A Pareto-Efficient Algorithm for Multiple Objective Optimization in E-Commerce Recommendation
7辛掠、顯式特征組合典型工作：
Deep& Cross: Deep & Cross Network for Ad Click Predictions
XDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems
8、特征抽取器典型工作：
AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks
DeepFM: An End-to-End Wide & Deep Learning Framework for CTR Prediction
9、對(duì)比CNN\RNN\特征抽取器：https://zhuanlan.zhihu.com/p/54743941
10萝衩、AutoML在推薦的應(yīng)用典型工作：
ENAS結(jié)構(gòu)搜索：AutoML在推薦排序網(wǎng)絡(luò)結(jié)構(gòu)搜索的應(yīng)用
雙線性特征組合: FiBiNET: Combining Feature Importance and Bilinear feature Interaction for Click-Through Rate Prediction
11回挽、增強(qiáng)學(xué)習(xí)在推薦的應(yīng)用典型工作：
Youtube: Top-K Off-Policy Correction for a REINFORCE Recommender System
Youtube: Reinforcement Learning for Slate-based Recommender Systems: A Tractable Decomposition and Practical Methodology
12、多模態(tài)融合典型工作：
DNN召回：Collaborative Multi-modal deep learning for the personalized product retrieval in Facebook Marketplace
排序：Image Matters: Visually modeling user behaviors using Advanced Model Server
13猩谊、長(zhǎng)短期興趣分離典型工作：
1. Neural News Recommendation with Long- and Short-term User Representations
2. Sequence-Aware Recommendation with Long-Term and Short-Term Attention Memory Networks
14千劈、List Wise重排序典型工作：
1.Personalized Re-ranking for Recommendation
2.Learning a Deep Listwise Context Model for Ranking Refinement
