導(dǎo)語:我認(rèn)為很少有人意識到真椿,推薦系統(tǒng)是世界上構(gòu)想過的最大的計算系統(tǒng)之一『醭危——Jensen Huang
前言
扎克伯格在 2024 年 7 月說突硝,我們在組建 Reality Labs 之前就成立了 FAIR——人工智能研究中心,主要產(chǎn)品線有 Facebook 和 Instagram 的信息流和推薦系統(tǒng)置济,生成式 AI 最終會使我們的所有產(chǎn)品以一種有趣的方式變得不同解恰。
對內(nèi)容的重要性進(jìn)行排序一直很重要,因?yàn)榇蠹以谛畔⒘髦锌吹降膬?nèi)容不僅僅來自“關(guān)注”浙于,還有數(shù)百萬條“推薦”信息护盈。以前,不同類型的內(nèi)容會使用不同的推薦模型羞酗,例如一個模型用于排序和推薦短視頻黄琼,另一個模型用于排序和推薦更長形式的視頻。隨著現(xiàn)在的推薦模型越來越通用整慎,可以拉取內(nèi)容的流量池越來越廣,推薦的效率變得更高围苫、效果也變得更好裤园。
扎克伯格夢想有一天,F(xiàn)acebook 或 Instagram 的全部內(nèi)容就像一個單一的 AI 模型剂府,統(tǒng)一了所有不同的內(nèi)容類型和系統(tǒng)拧揽,只是在不同的時間框架上有不同的呈現(xiàn)目標(biāo),其中一些只展示你今天想看的有趣內(nèi)容,但有些能幫你建立人際網(wǎng)絡(luò)淤袜,推送你可能認(rèn)識的人或你可能想關(guān)注的賬戶痒谴。
一、智能推薦系統(tǒng)基礎(chǔ)概念
在信息過載(information overload)的時代铡羡,社交媒體作為信息的主要傳播渠道积蔚,豐富了內(nèi)容獲取途徑,卻也無形中加劇了用戶的“選擇困難癥”烦周。智能推薦系統(tǒng)應(yīng)運(yùn)而生尽爆,依托大數(shù)據(jù)分析和機(jī)器學(xué)習(xí)算法,深度挖掘用戶行為偏好读慎、興趣特征漱贱,提升信息獲取效率和質(zhì)量,不僅優(yōu)化了用戶使用體驗(yàn)夭委,還促進(jìn)了信息生態(tài)的健康發(fā)展幅狮,實(shí)現(xiàn)內(nèi)容生產(chǎn)者和消費(fèi)者的雙贏。
1.定義解析
智能推薦系統(tǒng)株灸,作為信息過濾和個性化服務(wù)的重要手段崇摄,其核心在于通過整合用戶的歷史行為數(shù)據(jù)、興趣偏好以及上下文環(huán)境等多維度信息蚂且,用復(fù)雜的算法模型自動分析并預(yù)測用戶的潛在需求或興趣點(diǎn)配猫,進(jìn)而向用戶推薦其可能感興趣的內(nèi)容、商品杏死、服務(wù)或社交關(guān)系等泵肄。這一過程不僅極大地提升了信息獲取的效率和準(zhǔn)確性,還促進(jìn)了用戶和平臺之間的深度互動淑翼、個性化體驗(yàn)腐巢。
2.發(fā)展歷程
智能推薦系統(tǒng)的發(fā)展經(jīng)歷了從簡單到復(fù)雜、從單一到多元玄括、以及從靜態(tài)到動態(tài)的演進(jìn)過程冯丙。
(1)萌芽期
20 世紀(jì) 90 年代初,隨著互聯(lián)網(wǎng)的興起遭京,信息過載問題逐漸顯現(xiàn)胃惜。基于協(xié)同過濾(Collaborative Filtering)的推薦算法應(yīng)運(yùn)而生哪雕,通過分析用戶間的相似性來預(yù)測用戶可能感興趣的內(nèi)容船殉。這標(biāo)志著智能推薦系統(tǒng)的初步形成。
(2)成長期
20 世紀(jì) 90 年代末至 21 世紀(jì)初斯嚎,電子商務(wù)蓬勃發(fā)展利虫,推薦系統(tǒng)開始廣泛應(yīng)用于商品推薦領(lǐng)域挨厚。除了協(xié)同過濾外,基于內(nèi)容的推薦(Content-Based Filtering)逐漸成熟糠惫,通過分析物品的內(nèi)容特征與用戶興趣之間的匹配度來生成推薦疫剃。同時,混合推薦(Hybrid Recommendation)策略開始被探索硼讽,希望能結(jié)合多種推薦技術(shù)的優(yōu)勢巢价,提升推薦效果。
(3)成熟期
21 世紀(jì) 10 年代至今理郑,大數(shù)據(jù)蹄溉、云計算、人工智能等技術(shù)飛速發(fā)展您炉,智能推薦系統(tǒng)進(jìn)入了全新的階段柒爵。深度學(xué)習(xí)(Deep Learning)技術(shù)的引入,使推薦系統(tǒng)能夠處理更加復(fù)雜的數(shù)據(jù)模式赚爵,捕捉用戶和物品之間的高階非線性關(guān)系棉胀。上下文感知推薦(Context-Aware Recommendation)、社交推薦(Social Recommendation)等新興推薦模式不斷涌現(xiàn)冀膝,進(jìn)一步豐富了推薦系統(tǒng)的應(yīng)用場景和推薦策略唁奢。同時,推薦系統(tǒng)的評估指標(biāo)也日益完善窝剖,包括準(zhǔn)確率麻掸、召回率、多樣性赐纱、新穎性等多個維度脊奋,為推薦系統(tǒng)的優(yōu)化提供了更加全面的指導(dǎo)。
二疙描、優(yōu)秀案例拆解:百度智能推薦引擎產(chǎn)品
移動時代下诚隙,競爭公域流量、運(yùn)營私域流量起胰、挖掘用戶價值是業(yè)務(wù)成功的關(guān)鍵目標(biāo)久又。越來越多的行業(yè)都在自建并獨(dú)立運(yùn)營 APP,但普遍缺乏流量運(yùn)營的經(jīng)驗(yàn)效五。
百度推出智能推薦引擎產(chǎn)品地消,依托百度開源深度學(xué)習(xí)平臺,通過推薦畏妖、內(nèi)容和搜索三位一體模式提高個性化水平犯建,為開發(fā)者提供端到端的 RESTful API 和 SDK,幫助業(yè)務(wù)系統(tǒng)提升私域流量用戶活躍瓜客、留存和轉(zhuǎn)化效果。
1.產(chǎn)品介紹
百度智能推薦引擎產(chǎn)品的目標(biāo)用戶是有一定經(jīng)驗(yàn)的開發(fā)者,其差異化定位如下:
(1)搜推一體化雙引擎:搜索與推薦融合谱仪,一套技術(shù)同時支撐搜索和推薦這兩個場景玻熙,實(shí)現(xiàn)技術(shù)的復(fù)用與提升;數(shù)據(jù)相互貫通疯攒,增強(qiáng)搜索的個性化效果嗦随。
(2)公私同棧效果一致:除了提供公有云SaaS訂閱服務(wù)外,還支持私有化部署敬尺。兩種模式采用同一套代碼枚尼,公有云私有化效果一致。
(3)大模型賦能興趣理解:專業(yè)版提供大模型推薦相關(guān)服務(wù)砂吞, 使用LLM技術(shù)個性化提取興趣旅程署恍,從而挖掘用戶的長短期興趣。
(4)強(qiáng)大的深度學(xué)習(xí)底座:百度自研飛槳大規(guī)模機(jī)器學(xué)習(xí)框架Paddle支持信創(chuàng)蜻直,推薦場景定制化優(yōu)化模型與算子賦能盯质,基于海量文本、圖片概而、視頻等大規(guī)模預(yù)訓(xùn)練呼巷,提供精準(zhǔn)的多模態(tài)內(nèi)容理解服務(wù)。
(5)聚焦C端場景運(yùn)營:在金融赎瑰、媒體王悍、泛互聯(lián)網(wǎng)等行業(yè)有豐富實(shí)戰(zhàn)經(jīng)驗(yàn)。支持信息流內(nèi)容物料引入餐曼,促進(jìn)私域移動內(nèi)容多樣化發(fā)展压储;提供專業(yè)運(yùn)營咨詢服務(wù),助力精細(xì)化運(yùn)營晋辆。
2.技術(shù)架構(gòu):搜索推薦雙引擎一體化賦能內(nèi)容分發(fā)和消費(fèi)增長
(1)全鏈路個性化策略:召回機(jī)制渠脉、排序模型以及運(yùn)營策略規(guī)則均支持個性化配置,顯著提升運(yùn)營的靈活性瓶佳;
(2)豐富多樣的特征挖掘:多維立體的用戶畫像芋膘,涵蓋年齡、性別霸饲、地域为朋、標(biāo)簽等;基于相似用戶的興趣以及交互記錄進(jìn)行個性化推薦厚脉;
(3)完整的效果優(yōu)化工具鏈:通過 AB 實(shí)驗(yàn)可快速驗(yàn)證策略和模型的效果习寸,以提升整體業(yè)務(wù)目標(biāo);在展現(xiàn)控制環(huán)節(jié)傻工,規(guī)則具有可控性霞溪,分發(fā)也能夠進(jìn)行人工干預(yù)孵滞。
3.應(yīng)用場景
百度智能推薦引擎產(chǎn)品可提供多種部署方式。將推薦系統(tǒng)部署到企業(yè)的服務(wù)器上鸯匹,企業(yè)能將采集數(shù)據(jù)用于精細(xì)化運(yùn)營坊饶、用戶畫像或廣告營銷等場景,也能添加特征殴蓬、調(diào)整召回匿级、訓(xùn)練模型并調(diào)參,真正做到交付給客戶自主可控的推薦系統(tǒng)染厅,最大化發(fā)揮數(shù)據(jù)價值痘绎。
(1)信息流推薦
在全渠道內(nèi)容中,結(jié)合用戶標(biāo)簽快速優(yōu)化內(nèi)容精準(zhǔn)分發(fā)用戶期待的內(nèi)容肖粮,提高終端用戶在站內(nèi)的活躍度和粘性孤页。
場景優(yōu)勢: 推薦策略適配度高,減少企業(yè)開發(fā)與試錯成本尿赚; 精準(zhǔn)獲取用戶心智散庶,提升用戶粘性與活躍度。
(2)商品推薦
基于用戶屬性凌净、歷史行為和興趣偏好等多維度數(shù)據(jù)悲龟,為用戶在APP首頁、相似商品頁等不同場景提供個性化推薦服務(wù)冰寻。
場景優(yōu)勢: 用戶瀏覽時须教,推薦相關(guān)商品、興趣商品斩芭,提升商品銷售轉(zhuǎn)化轻腺; 在相關(guān)頁面,通過猜你喜歡與相關(guān)推薦增加產(chǎn)品曝光划乖,挖掘購物需求贬养。
三、智能推薦引擎的入門步驟
智能推薦引擎產(chǎn)品是一款集成飛槳深度學(xué)習(xí)核心框架琴庵、工具組件和服務(wù)平臺于一體的技術(shù)先進(jìn)误算、功能完備的開源深度學(xué)習(xí)平臺。
登錄百度智能云官網(wǎng)迷殿、進(jìn)入百度智能云一念“智能推薦”產(chǎn)品頁面儿礼,創(chuàng)建并開通所需的應(yīng)用版本。
1.準(zhǔn)備階段
如果選擇百家號內(nèi)容資訊服務(wù)作為推薦內(nèi)容庆寺,請關(guān)注本步驟蚊夫,反之則可以跳過。
通過設(shè)定篩選條件圈選內(nèi)容資訊懦尝,并可以將其定義為某類內(nèi)容集知纷,供推進(jìn)應(yīng)用綁定作為物料數(shù)據(jù)壤圃。用戶可以根據(jù)實(shí)際需求按照內(nèi)容和作者兩個視角自主設(shè)定篩選規(guī)則。
2.創(chuàng)建應(yīng)用
通過新建應(yīng)用定義 API 調(diào)用者身份的方式綁定推薦場景屈扎,配置應(yīng)用數(shù)據(jù)接入和輸出服務(wù)參數(shù)實(shí)現(xiàn)服務(wù)快速啟動埃唯。
3.接入數(shù)據(jù)
接入數(shù)據(jù)是使用推薦服務(wù)的前提,開發(fā)者需要在數(shù)據(jù)接入環(huán)節(jié)接入三種數(shù)據(jù):物料數(shù)據(jù)鹰晨、行為數(shù)據(jù)和用戶數(shù)據(jù)。
每種數(shù)據(jù)都規(guī)定了需要傳入的字段止毕,開發(fā)者根據(jù)系統(tǒng)定義的字段名稱和要求上傳數(shù)據(jù)模蜡,否則將無法正常使用推薦服務(wù)。
4.調(diào)用服務(wù)
數(shù)據(jù)接入后扁凛,開發(fā)者啟動推薦服務(wù)忍疾,通過配置流量控制參數(shù)確定所需資源,一鍵啟動推薦服務(wù)谨朝,啟動服務(wù)后開發(fā)者可根據(jù)系統(tǒng)使用指南調(diào)用接口卤妒,并根據(jù)接口文檔說明對 API 進(jìn)行調(diào)試。同時字币,開發(fā)者可以在此節(jié)點(diǎn)查看監(jiān)控服務(wù)運(yùn)行狀態(tài)则披。
5.模擬體驗(yàn)
基于應(yīng)用 API 生成的 PC 端演示 Demo,包括給定用戶查看用戶畫像洗出,生成物料數(shù)據(jù)士复,用戶和點(diǎn)擊數(shù)據(jù),實(shí)時生成個性化推薦和相關(guān)推薦 翩活,支持給定內(nèi)容查看內(nèi)容理解中間標(biāo)簽結(jié)果阱洪,單次推薦結(jié)果的可解釋性;手機(jī)掃碼體驗(yàn)推薦效果菠镇,并可以在 PC 端演示的 Demo 看到統(tǒng)計數(shù)據(jù)的變化冗荸。
6.監(jiān)控報表
開發(fā)人員或者運(yùn)維人員通過監(jiān)控報表了解推薦服務(wù)健康度。全方位的服務(wù)監(jiān)控包含了接口調(diào)用利耍、接口異常蚌本、服務(wù)健康度、用戶交互等統(tǒng)計數(shù)據(jù)堂竟,保障核心指標(biāo)數(shù)據(jù)監(jiān)控?zé)o死角魂毁。
四、總結(jié)
在信息過載的時代出嘹,無論是信息消費(fèi)者還是信息生產(chǎn)者都遇到了前所未有的挑戰(zhàn)席楚。作為信息消費(fèi)者,很難從大量信息中找到自己感興趣的內(nèi)容税稼;作為信息生產(chǎn)者烦秩,讓自己生產(chǎn)的內(nèi)容脫穎而出垮斯、受到廣大用戶的關(guān)注,也是一件非常困難的事情只祠。推薦系統(tǒng)就是解決這一矛盾的重要工具兜蠕。
黃仁勛在今年的圖形學(xué)頂級會議 SIGGRAPH 2024 上說,“我認(rèn)為很少有人意識到抛寝,推薦系統(tǒng)是世界上構(gòu)想過的最大的計算系統(tǒng)之一”熊杨。