多目標學習一般做法:
1梦皮、多模型建模
2、多任務學習(MTL)
各有優(yōu)缺點桃焕,對于前者剑肯,優(yōu)點是:獨立建模,針對特定目標容易深度優(yōu)化观堂;缺點是:模型難融合让网。對于后者,優(yōu)點是:任務相關性比較強的時候师痕,能提升綜合價值溃睹;但恰恰由于參數(shù)共享,當任務之間相關性不強時胰坟,會相互干擾而影響學習效果因篇。
多任務學習是機器學習的一種范式,并不局限于特定問題或模型笔横。
推薦排序的演進劃分成四個階段竞滓,從線性模型+大規(guī)模人工組合特征,到非線性模型+少量人工特征狠裹,再到深度學習模型+用戶行為序列特征虽界,最后是從單目標優(yōu)化到多目標優(yōu)化。
polling:https://www.cnblogs.com/makefile/p/pooling.html
NFM:https://github.com/hexiangnan/neural_factorization_machine/blob/master/NeuralFM.py
從公開資料上了解到美圖的實踐涛菠,排序模型從傳統(tǒng)的LR+特征工程莉御,到NFM模型以及改進的NFwFM ,到最后的多目標學習俗冻。
17年論文中介紹的NFM模型結構如下:
美圖在此基礎上做了引入右側多層感知機學習隱式的高階特征交叉
參考資料:https://www.infoq.cn/article/0ueIPm2VFrOqECLU3316
https://www.infoq.cn/article/0xdVNHshA02egyr1QaAX
多任務的缺點是在參數(shù)共享的情況下礁叔,如果兩個任務有不相關的部分,兩個任務就會互相干擾迄薄,從而影響效果琅关。學術界將這種現(xiàn)象稱為共享沖突。
多目標:
https://zhuanlan.zhihu.com/p/89387632
https://zhuanlan.zhihu.com/p/82584437
http://wd1900.github.io/2019/09/15/Recommending-What-Video-to-Watch-Next-A-Multitask-Ranking-System/