本文由 【AI前線】原創(chuàng)微宝，原文鏈接：http://t.cn/RTGs81x

AI 前線導(dǎo)讀：不久前棺亭，Netflix 推出交錯(cuò)測(cè)試個(gè)性化推薦算法，計(jì)算速度提高 100 倍秒殺 A/B 測(cè)試的消息引起了不小的轟動(dòng)蟋软。而僅一周后镶摘，這家視頻網(wǎng)站宣布了他們利用情境 bandits 推薦算法，實(shí)現(xiàn)了視頻配圖的個(gè)性化處理钟鸵。

多年來(lái)钉稍，Netflix 個(gè)性化推薦系統(tǒng)的主要目標(biāo)，是為用戶在合適的時(shí)間推薦合適的視頻棺耍。Nteflix 網(wǎng)站上每個(gè)分類(lèi)頁(yè)面下有成千上萬(wàn)部影片贡未，用戶賬號(hào)達(dá)數(shù)十億，為每個(gè)用戶推薦最合適的視頻是頭等要事蒙袍。但推薦系統(tǒng)能做到的不僅是這些俊卤。怎樣讓用戶對(duì)你推薦的視頻感興趣？怎樣讓一個(gè)陌生的視頻激起用戶的興趣害幅？什么樣的視頻值得關(guān)注消恍？回答這些問(wèn)題對(duì)于幫助用戶發(fā)現(xiàn)好的內(nèi)容至關(guān)重要，特別是對(duì)于不熟悉的視頻以现。

用來(lái)描述視頻的配圖或圖像狠怨，是可以輕松地解決這個(gè)問(wèn)題的方法之一。如果一張配圖對(duì)用戶有足夠的吸引力邑遏，比如用戶熟悉的演員佣赖、讓人腎上腺激素飆升的汽車(chē)追逐場(chǎng)面，或者一部電影或電視節(jié)目精髓的戲劇性場(chǎng)景等信息（一張圖片勝過(guò)千言萬(wàn)語(yǔ)）记盒，就會(huì)誘惑用戶點(diǎn)開(kāi)視頻憎蛤。這是 Netflix 與傳統(tǒng)媒體產(chǎn)品不同的一點(diǎn)：我們的產(chǎn)品可能超過(guò)一億種，為每個(gè)用戶提供個(gè)性化推薦和個(gè)性化的視覺(jué)效果。

（沒(méi)有配圖的 Netflix 主頁(yè)）

之前俩檬，我們討論過(guò)如何做到為所有會(huì)員的視頻匹配最合適的圖片萎胰。通過(guò)多臂老虎機(jī)算法，我們可以為視頻找到最合適的配圖棚辽，以《怪奇物語(yǔ)》為例技竟，這部影片獲得了最高用戶播放率。但是晚胡，鑒于用戶的品味和偏好存在巨大差異灵奖，如果我們能夠找到每個(gè)用戶偏好的點(diǎn)嚼沿，并在配圖中能呈現(xiàn)出他們最感興趣的東西估盘，效果不是更好嗎？

（為《怪奇物語(yǔ)》設(shè)計(jì)的配圖骡尽，不同的圖像涵蓋了節(jié)目中的不同主題）

我們探討一下配圖個(gè)性化在哪些場(chǎng)景下具有重要意義遣妥。例如，每個(gè)用戶有不同的觀看歷史攀细，下圖左是三個(gè)用戶過(guò)去看過(guò)的視頻箫踩，箭頭右側(cè)是我們?yōu)闀?huì)員推薦的頗受歡迎的電影。

我們?yōu)殡娪啊缎撵`捕手》設(shè)計(jì)個(gè)性化配圖的根據(jù)是每個(gè)用戶對(duì)不同類(lèi)型和主題的偏好谭贪。對(duì)于看過(guò)許多浪漫愛(ài)情電影的人境钟，如果他的推薦圖片中包含馬特·達(dá)蒙（Matt Damon）和米妮·司各德（Minnie Driver）的信息，可能他會(huì)對(duì)《心靈捕手》感興趣俭识，而如果是對(duì)于看過(guò)很多喜劇片的用戶慨削，我們?cè)谕扑]圖中包含知名喜劇演員羅賓·威廉斯（Robin Williams）的信息，吸引他的幾率可能更大套媚。

另外缚态，個(gè)性化配圖對(duì)喜歡不同演員的用戶會(huì)產(chǎn)生什么影響呢？以《低俗小說(shuō)》為例堤瘤，一位觀看過(guò)很多烏瑪·瑟曼（Uma Thurman）出演電影的用戶可能會(huì)對(duì)包含烏瑪（Uma）信息的圖片反應(yīng)更為積極玫芦。同理，John Travolta 的粉絲更可能因?yàn)閳D像中包含 John 而被這部影片吸引本辐。

當(dāng)然桥帆，并不是所有的配圖個(gè)性化場(chǎng)景都是這么明了的。所以我們并沒(méi)有窮舉這些規(guī)則慎皱，而是依靠數(shù)據(jù)來(lái)告訴我們應(yīng)該使用什么圖片老虫。總體而言宝冕，通過(guò)配圖個(gè)性化處理张遭，我們可以幫助提高每個(gè)用戶的體驗(yàn)。

克服重重挑戰(zhàn)

Netflix 還通過(guò)算法對(duì)網(wǎng)站做了很多個(gè)性化處理地梨，以提高會(huì)員體驗(yàn)菊卷，包括主頁(yè)列表選擇缔恳、列表的標(biāo)題、展示的圖片洁闰、發(fā)送的消息等等歉甚。對(duì)于我們來(lái)說(shuō)，每一個(gè)方面的個(gè)性化處理都是獨(dú)特的挑戰(zhàn)扑眉，個(gè)性化配圖也不例外纸泄。其中，圖像個(gè)性化處理的挑戰(zhàn)之一腰素，是每個(gè)位置視頻的配圖只能有一張聘裁。相比之下，典型的推薦設(shè)置可以向會(huì)員提供多個(gè)選擇弓千，之后我們可以從會(huì)員的選擇中了解他們的偏好衡便。這意味著圖像選擇是一個(gè)在閉環(huán)中操作的雞與雞蛋問(wèn)題：會(huì)員選擇播放哪個(gè)視頻的根據(jù)只有圖片。這就導(dǎo)致一個(gè)問(wèn)題：當(dāng)我們推出個(gè)性化圖片時(shí)洋访，會(huì)不會(huì)影響成員播放（或不播放）視頻镣陕，以及什么情況下是不管我們放了哪張圖片，用戶仍會(huì)播放視頻（或不播放）姻政。因此呆抑，個(gè)性化配圖推薦應(yīng)該結(jié)合傳統(tǒng)方法與算法才能奏效。當(dāng)然汁展，為了正確學(xué)習(xí)配圖個(gè)性化鹊碍，我們需要收集大量的數(shù)據(jù)栗柒，來(lái)找到能表明哪個(gè)配圖對(duì)于用戶更合適的信息泻轰。

另一個(gè)挑戰(zhàn)贵白，是要理解配圖變化所產(chǎn)生的影響谷暮，是否會(huì)降低視頻的可識(shí)別性蛀柴，讓視頻在視覺(jué)上難以重新找到吞滞？例如掰读，會(huì)員之前感興趣但至今還沒(méi)有注意到的視頻亡容，或者品洛，配圖改變是否會(huì)讓用戶改變想法树姨。如果我們找到更好的圖片呈現(xiàn)給會(huì)員并不斷更換圖片，會(huì)讓會(huì)員感到迷惑桥状。另外帽揪，改變圖像也會(huì)引起歸因問(wèn)題，因?yàn)槲覀儾磺宄烤故悄膹垐D像引起了會(huì)員對(duì)視頻的興趣辅斟。

接下來(lái)转晰，是要理解配圖如何與同一個(gè)頁(yè)面或者階段選擇的其他配圖進(jìn)行合理關(guān)聯(lián)。也許主角的大膽特寫(xiě)非常適用于頁(yè)面上的視頻配圖，因?yàn)榕c其他作品相比查邢，它顯得非常突出蔗崎。但是，如果整個(gè)頁(yè)面的配圖都是這一類(lèi)型扰藕，那么它的效果反而會(huì)大打折扣缓苛。因此，孤立地看每一幅圖片可能還不夠邓深，我們需要思考如何在整個(gè)頁(yè)面使用多樣化的圖像未桥。配圖的效果可能還取決于圖片之外其他的因素（例如簡(jiǎn)介、預(yù)告片等）芥备。所以冬耿，我們的圖片選擇應(yīng)該多樣化，讓每個(gè)視頻之間都能形成互補(bǔ)门躯。

為了實(shí)現(xiàn)有效的個(gè)性化淆党，我們還需要為每個(gè)視頻提供優(yōu)質(zhì)的作品庫(kù)。這意味著我們需要多個(gè)庫(kù)存讶凉，并且每個(gè)庫(kù)存的圖片都是非常有吸引力、信息豐富且與視頻契合山孔，但要避免那種“標(biāo)題誘餌”式的圖片懂讯。視頻的圖像集也需要足夠多樣化，以涵蓋對(duì)內(nèi)容的不同角度感興趣的廣大潛在觀眾台颠。畢竟褐望，一張配圖的信息量取決于看到它的個(gè)體。因此串前，我們的配圖不僅需要突出視頻中的不同主題瘫里，還要突出不同的美學(xué)。

最后荡碾，是大規(guī)模個(gè)性化配圖面臨的工程挑戰(zhàn)谨读。由于我們的會(huì)員體驗(yàn)是視覺(jué)化的，包含大量的圖像坛吁，因此劳殖，系統(tǒng)在峰值時(shí)需要每秒處理超過(guò) 2000 萬(wàn)個(gè)低延遲請(qǐng)求。這個(gè)系統(tǒng)必須足夠強(qiáng)大拨脉，因?yàn)橛脩艚缑娌荒苷_渲染圖稿哆姻，用戶體驗(yàn)會(huì)顯著下降。而且玫膀，個(gè)性化算法還需要在視頻上傳時(shí)做出快速響應(yīng)矛缨，這意味著要在冷啟動(dòng)的情況下快速學(xué)習(xí)個(gè)性化。啟動(dòng)后，該算法必須不斷進(jìn)行調(diào)試箕昭，因?yàn)榕鋱D的效果可能會(huì)隨著時(shí)間的推移而變化誉简，視頻的生命周期不斷演變，而且會(huì)員的品味也在不斷變化盟广。

情境 bandits 推薦個(gè)性化配圖

Netflix 的大部分推薦引擎都采用機(jī)器學(xué)習(xí)算法闷串。首先，我們會(huì)收集一批關(guān)于會(huì)員如何使用服務(wù)的數(shù)據(jù)筋量，然后在這批數(shù)據(jù)上運(yùn)行一個(gè)新的機(jī)器學(xué)習(xí)算法烹吵。接下來(lái)，我們對(duì)這種算法在現(xiàn)有生產(chǎn)系統(tǒng)上進(jìn)行 A / B 測(cè)試桨武。通過(guò)在隨機(jī)子集上進(jìn)行 A / B 測(cè)試肋拔，我們了解到新算法是否比現(xiàn)有的生產(chǎn)系統(tǒng)更好。A 組會(huì)員代表當(dāng)前的產(chǎn)品體驗(yàn)呀酸，而 B 組代表新算法下的產(chǎn)品體驗(yàn)凉蜂。如果 B 組中的會(huì)員對(duì) Netflix 的參與度更高，那么我們將把這個(gè)新算法推廣到整個(gè)會(huì)員群體性誉。不幸的是窿吩，這種批處理方式也有缺憾（regret）：許多會(huì)員長(zhǎng)期以來(lái)并沒(méi)有更好的用戶體驗(yàn)，如下圖所示：

為了減小這個(gè)缺憾错览，我們放棄了批處理機(jī)器學(xué)習(xí)纫雁，而使用在線機(jī)器學(xué)習(xí)。對(duì)于圖片個(gè)性化倾哺，我們使用的在線學(xué)習(xí)框架是情境 bandits（contextual bandits）轧邪。情境 bandits 并不是收集整批的數(shù)據(jù)，進(jìn)行學(xué)習(xí)模型訓(xùn)練羞海，直到 A / B 測(cè)試結(jié)束忌愚，而是可以迅速為每個(gè)會(huì)員找到最合適的個(gè)性化圖片。簡(jiǎn)而言之却邓，情境 bandits 是一類(lèi)在線學(xué)習(xí)算法硕糊，這種算法可以在學(xué)習(xí)無(wú)偏差模型所需的訓(xùn)練數(shù)據(jù)成本，和將學(xué)習(xí)模型應(yīng)用于每個(gè)會(huì)員的好處之間進(jìn)行權(quán)衡申尤。我們使用非情境 bandits 進(jìn)行非個(gè)性化圖像選擇癌幕，找到不考慮情境的最佳圖像。而對(duì)于個(gè)性化推薦昧穿，每個(gè)會(huì)員均代表不同的情境勺远，因?yàn)槲覀冾A(yù)計(jì)不同的會(huì)員會(huì)對(duì)圖像做出不同的反應(yīng)。

情境 bandits 的一個(gè)重要屬性时鸵，是其是為盡量減小缺憾而設(shè)計(jì)的胶逢。在高層次上厅瞎，我們通過(guò)在學(xué)習(xí)模型的預(yù)測(cè)中輸入受控隨機(jī)化來(lái)獲得情境 bandits 的訓(xùn)練數(shù)據(jù)。隨機(jī)化方案的復(fù)雜性可以從簡(jiǎn)單的具有均勻隨機(jī)性的 epsilon-greedy 公式初坠，到隨著模型不確定性而自適應(yīng)地改變隨機(jī)化程度的閉環(huán)方案和簸。我們將這個(gè)過(guò)程稱(chēng)為數(shù)據(jù)探索（data exploration）。進(jìn)行這樣的探索碟刺，我們需要記錄每個(gè)配圖選擇的隨機(jī)化信息锁保。這種日志記錄讓我們可以糾正走偏的選擇傾向，從而以稍后所述的不偏頗的方式執(zhí)行離線模型評(píng)估半沽。

由于我們可能不會(huì)采用情境 bandits 算法預(yù)測(cè)的最佳圖像爽柒，所以數(shù)據(jù)探索可能會(huì)產(chǎn)生成本（或缺憾）。這種隨機(jī)性對(duì)會(huì)員體驗(yàn)（以及我們的指標(biāo)）有什么影響呢者填？我們有超過(guò)一億的會(huì)員浩村，通常情況下，探索帶來(lái)的缺憾非常小占哟，分?jǐn)偟烬嫶蟮臅?huì)員基數(shù)上心墅，每個(gè)會(huì)員都會(huì)為記錄提供一小部分反饋。這使得每個(gè)成員的探索成本可以忽略不計(jì)榨乎，這也是起碼選擇情境 bandits 改善會(huì)員體驗(yàn)的重要因素怎燥。如果探索成本很高，那么使用情境 bandits 進(jìn)行隨機(jī)化和數(shù)據(jù)探索就不太合適谬哀。根據(jù)我們的在線數(shù)據(jù)探索方案刺覆，不管視頻是否被播放，我們都會(huì)獲得一個(gè)記錄每個(gè)（會(huì)員史煎、標(biāo)題、圖像）元組的訓(xùn)練數(shù)據(jù)集驳糯。此外篇梭，我們可以控制探索，使圖像選擇不會(huì)經(jīng)常變化酝枢，這使得會(huì)員對(duì)特定圖片的參與度更加清晰恬偷。

模型訓(xùn)練

在在線學(xué)習(xí)中，我們訓(xùn)練情境 bandits 模型根據(jù)情境為每個(gè)會(huì)員選擇最合適的圖片帘睦。通常每個(gè)視頻最多有幾十張候選圖片袍患，為了訓(xùn)練選擇模型，我們?yōu)槊總€(gè)會(huì)員的圖片進(jìn)行排名來(lái)簡(jiǎn)化問(wèn)題竣付。簡(jiǎn)化之后诡延，我們?nèi)匀豢梢哉业綍?huì)員對(duì)視頻圖像的偏好，因?yàn)槌诗I(xiàn)給用戶的每個(gè)候選圖像古胆，有一部分會(huì)引起用戶的參與肆良，而另一部分則不會(huì)筛璧。我們可以對(duì)這些偏好進(jìn)行建模和預(yù)測(cè)，會(huì)員享受高質(zhì)量參與度的概率會(huì)相應(yīng)提高惹恃。這樣的模型可以是監(jiān)督式學(xué)習(xí)夭谤，也可以是湯普森抽樣（Thompson Sampling）情境 bandits、LinUCB 或貝葉斯方法（Bayesian）巫糙。

潛在的信息

在情境 bandits 中朗儒，情境通常表示為模型輸入提供的特征向量。我們可以使用許多信息作為特征参淹，尤其是會(huì)員的許多屬性：他們播放的視頻醉锄、視頻類(lèi)型、會(huì)員對(duì)特定視頻的參與度承二、國(guó)籍榆鼠、語(yǔ)言偏好、使用設(shè)備亥鸠、時(shí)間等妆够。

另外一個(gè)重要的考慮因素，是候選池中一些圖片優(yōu)于其他圖片负蚊。我們觀察數(shù)據(jù)探索中所有圖像的總體轉(zhuǎn)換率（take rates）神妹，即高質(zhì)量播放次數(shù)除以印象數(shù)量。以前做非個(gè)性化圖像選擇時(shí)家妆，我們僅根據(jù)總體轉(zhuǎn)換率之間的差異來(lái)決定為用戶批量選擇的最佳圖像鸵荠。而在我們新的情境 bandits 個(gè)性化模型中，整體轉(zhuǎn)換了仍然是重要的伤极，并且個(gè)性化推薦仍會(huì)與非個(gè)性化圖像排名有一定重合蛹找。

圖像選擇

為會(huì)員提供合適圖像，實(shí)際上是一個(gè)從與視頻匹配的的可用圖像池中找到最佳候選圖像的選擇性問(wèn)題哨坪。模型經(jīng)過(guò)上述訓(xùn)練后庸疾，我們用它來(lái)對(duì)每個(gè)情境的圖像進(jìn)行排序，并預(yù)測(cè)為會(huì)員推薦圖像會(huì)引發(fā)播放的概率当编。我們按這些概率對(duì)候選圖像集進(jìn)行排序届慈，并選擇出概率最高的圖像。

效果評(píng)估

離線

在線上部署之前忿偷，我們可以使用一種稱(chēng)為“重播”的離線技術(shù) [1] 對(duì)情境 bandits 算法進(jìn)行評(píng)估金顿。這種方法讓我們可以根據(jù)記錄的探索數(shù)據(jù)來(lái)回答反事實(shí)問(wèn)題（圖 1）。換句話說(shuō)鲤桥，如果我們?cè)谕葪l件下使用不同的算法揍拆，在不同情境下在線下會(huì)發(fā)生什么。

（圖 1：根據(jù)記錄的數(shù)據(jù)計(jì)算重播率的簡(jiǎn)單示例芜壁。為每個(gè)成員分配一個(gè)隨機(jī)圖像（第一行）礁凡，系統(tǒng)記錄了視頻印象以及用戶播放了視頻（綠色圓圈）或沒(méi)有（紅色圓圈）高氮。通過(guò)匹配隨機(jī)分配和模型分配重合的部分（黑色方塊），計(jì)算該子集的分?jǐn)?shù)來(lái)計(jì)算新模型的重播指數(shù)顷牌。）

如果我們假設(shè)提供的圖像是通過(guò)新算法選擇的剪芍，而不是現(xiàn)用的算法，則重播顯示出會(huì)員對(duì)視頻的參與度窟蓝。圖 2 顯示了與隨機(jī)選擇或非情境 bandits 相比罪裹，情境 bandits 如何提高記錄中用戶的平均參與率。

（圖 2：基于圖像探索數(shù)據(jù)記錄中重播率运挫，不同算法選擇的圖像平均分?jǐn)?shù)（越高越好）状共。隨機(jī)（綠色）表示隨機(jī)選擇圖像，簡(jiǎn)單的 Bandit 算法（黃色）選擇具有最高分?jǐn)?shù)的圖像谁帕。情境 bandits 算法（藍(lán)色和粉紅色）根據(jù)情境為不同的成員選擇不同的圖像峡继。）

（圖 3：根據(jù)用戶個(gè)人資料進(jìn)行的情境圖像選擇示例。Comedy 指主要觀看喜劇片的個(gè)人資料匈挖，Romance 代表看愛(ài)情片最多的用戶個(gè)人資料碾牌。情境 bandits 算法為更喜歡喜劇片的會(huì)員推薦了帶有著名喜劇演員羅賓·威廉姆斯（Robin Williams）形象，同時(shí)更為浪漫的情侶接吻圖片儡循。）

在線

經(jīng)過(guò)對(duì)多種離線模型進(jìn)行試驗(yàn)之后舶吗，我們找到了可以提高重播率的模型，最后進(jìn)行 A / B 測(cè)試择膝，以對(duì)個(gè)性化情境 bandits 與非個(gè)性化 bandits 進(jìn)行比較誓琼。正如我們所料，個(gè)性化對(duì)核心指標(biāo)提高起到了重大的作用肴捉。我們也看到了線下測(cè)量重播率與線上模型之間的合理性關(guān)聯(lián)腹侣。在線結(jié)果還發(fā)現(xiàn)了有趣的現(xiàn)象，例如齿穗，在會(huì)員之前沒(méi)有參與的視頻筐带，個(gè)性化的改善效果更好。這不無(wú)理由缤灵，因?yàn)槲覀兏Ｍ@個(gè)算法對(duì)用戶并不熟悉的視頻發(fā)揮更大的作用。

結(jié)論

現(xiàn)在蓝晒，我們已經(jīng)邁出了第一步腮出，在個(gè)性化圖片推薦和其他服務(wù)中采用了這種方法。這改進(jìn)了用戶發(fā)現(xiàn)新內(nèi)容的方法芝薇，有史以來(lái)胚嘲，我們不僅對(duì)推薦內(nèi)容進(jìn)行了個(gè)性化，而且對(duì)推薦的方式也進(jìn)行了個(gè)性化洛二。但是馋劈，這個(gè)方法還有很多可以改進(jìn)的地方攻锰，應(yīng)用的范圍也可以進(jìn)一步擴(kuò)大，包括通過(guò)計(jì)算機(jī)視覺(jué)技術(shù)開(kāi)發(fā)能以最快的速度對(duì)圖像和視頻進(jìn)行個(gè)性化處理的算法冷啟動(dòng)等妓雾。另一個(gè)機(jī)會(huì)是可以將這種個(gè)性化方法擴(kuò)展到我們使用的其他類(lèi)型的配圖以及其他視頻描述語(yǔ)娶吞，例如概要、元數(shù)據(jù)和預(yù)告片中械姻。

文章來(lái)源：

https://medium.com/netflix-techblog/artwork-personalization-c589f074ad76

作者：Ashok Chandrashekar妒蛇，F(xiàn)ernando Amat，Justin Basilico 和 Tony Jebara

關(guān)注我們的微信號(hào)"AI前線"楷拳，后臺(tái)回復(fù)“AI”可獲得《AI前線》系列PDF電子書(shū)