個性化系統(tǒng)框架
廣告系統(tǒng)是一個典型的個性化內(nèi)容系統(tǒng)拣宏。一般的個性化系統(tǒng)有四個主體部分構(gòu)成：用于實時響應(yīng)請求零聚，完成決策的在線投放引擎谆吴；離線的分布式計算數(shù)據(jù)處理平臺站削；用于在線實時反饋的流計算平臺坊萝；連接和運轉(zhuǎn)以上三部分數(shù)據(jù)流的數(shù)據(jù)高速公路。
在線投放引擎決策使用高速緩存中的人群標簽和模型參數(shù)许起。
離線數(shù)據(jù)處理平臺周期性地以批處理方式加工過去一段時間的數(shù)據(jù)十偶，得到人群標簽和其他模參數(shù)，存放在高速緩存中园细，供在線系統(tǒng)使用惦积。
流計算平臺負責處理最近一小段時間的數(shù)據(jù)，得到準實時的用戶標簽和其他模型參數(shù)猛频，也放到高速緩存中狮崩，供在線投放系統(tǒng)決策時使用，對離線處理結(jié)果的及時補充和調(diào)整鹿寻。
數(shù)據(jù)高速公路完成各種數(shù)據(jù)的高速傳輸和各個系統(tǒng)的打通睦柴。
個性化系統(tǒng)的區(qū)別：
計算廣告系統(tǒng)架構(gòu)
在一個完整的廣告系統(tǒng)架構(gòu)中，數(shù)據(jù)的記錄烈和、交易爱只、流轉(zhuǎn)、建模和使用是關(guān)鍵招刹，因為這些是廣告系統(tǒng)最核心的驅(qū)動力恬试，也從本質(zhì)上決定了廣告產(chǎn)品的變現(xiàn)能力和利潤空間。因此疯暑，廣告系統(tǒng)被歸于大數(shù)據(jù)產(chǎn)品之列训柴。
最基本的廣告產(chǎn)品，需要有廣告投放機和相應(yīng)的日志系統(tǒng)妇拯，實現(xiàn)簡單的定向投放邏輯幻馁。隨著對廣告效果深入優(yōu)化的需求洗鸵，需要建立起完整的廣告排序和用戶行為反饋模型。而當中小廣告主大量增加時仗嗦，就需要實現(xiàn)廣告的倒排索引和相應(yīng)的檢索功能膘滨。
廣告投放引擎
一般來說，廣告系統(tǒng)的投放引擎采用類搜索的架構(gòu)稀拐，即檢索加排序的兩階段決策過程火邓。另外，廣告投放引擎柴油一個獨特模塊德撬，就是要從全局優(yōu)化的角度對整體收益進行管理铲咨。
廣告投放機
廣告投放機的主要任務(wù)是與其他各個功能模塊打交道，并將它們串聯(lián)起來完成在線廣告投放決策蜓洪。一般來說纤勒，為了擴展性的考慮，都采用類搜索的投放機架構(gòu)隆檀，即先通過倒排索引從大量的廣告候選中得到少量符合條件的或相關(guān)的候選摇天，再在這個小的候選集上應(yīng)用復雜而精確的排序方法找到綜合收益最高的若干個廣告。對廣告投放機來說恐仑，最重要的指標是QPS以及廣告決策的延遲闸翅。
廣告檢索
在線根據(jù)用戶標簽與頁面標簽，從廣告索引中查找符合條件的廣告候選菊霜。廣告檢索得到的候選將被送入廣告排序模塊坚冀。
廣告排序
在線高效地計算廣告的eCPM，并進行排序的模塊鉴逞。eCPM的計算主要依賴于點擊率估計记某，這需要用到離線計算得到的CTR模型和特征，有時還會用到流計算得到的實時點擊率特征构捡。在需要估計點擊價值的廣告產(chǎn)品（如按效果結(jié)算的DSP）中液南，還需要一個點擊價值估計的模型。
收益管理
統(tǒng)一代表在各個廣告系統(tǒng)中將局部廣告排序的結(jié)果進一步調(diào)整勾徽，以全局收益最優(yōu)為目的做調(diào)整的功能滑凉，如GD系統(tǒng)中的在線分配、DSP中的出價策略等喘帚。這部分一般都需要用到離線計算好的某種分配計劃來完成在線時的決策畅姊。
分布式計算平臺
用戶行為分析和建模。
流計算平臺
對用戶行為進行實時判斷吹由，過濾作弊流量若未，實時反饋、更新用戶標簽倾鲫、實時計費粗合。
數(shù)據(jù)高速公路
跟蹤用戶日志萍嬉，記錄投放日志。
