1菱属、對(duì)比學(xué)習(xí)沸停、度量學(xué)習(xí)候醒、bert
自監(jiān)督的度量學(xué)習(xí)
simclr moco swav
2、基于對(duì)比學(xué)習(xí)的推薦模型
微博：
粗粒度:娛樂
細(xì)粒度:劉德華
中間粒度：劉德華北京開演唱會(huì)（話題）
實(shí)踐：
（1）提取中間粒度數(shù)據(jù)镜硕，如話題
（2）
推薦系統(tǒng)：
雙塔實(shí)際上是對(duì)比學(xué)習(xí)的變體血淌。
self-supervised learning for large-scale item recommendations
contrastive self-supervised sequential recommendation with robust augmentation
multi-sample based contrastive loss for top-k recommendation
方向：
一躺坟、超長(zhǎng)用戶興趣建模-sim模型，ubr4ctr，eta模型
張俊林最看好的方向，魔改擦囊，如何從超長(zhǎng)興趣中找出和target最像的k個(gè)來(lái)
nlp走在最前面贯被，已經(jīng)證明了自監(jiān)督能走通，bert。
何凱明 mae 最近很熱
二搏熄、鏈路一致性 知識(shí)蒸餾
end to end user behavior retreval in click-through rate prediction model
知識(shí)蒸餾在推薦系統(tǒng)的應(yīng)用
阿里媽媽ldm
三契邀、特征embedding自適應(yīng) nis模型
谷歌nis：
1、強(qiáng)化學(xué)習(xí)進(jìn)行資源分配
2、決策點(diǎn)：哪些特征值的分配空間，以及最優(yōu)的embeddingsize是多大
neural input search for large scale recommendation models
3喳逛、amtl
最近效果的進(jìn)展來(lái)自于兩個(gè)方面：
a曙砂、模型容量截驮、參數(shù)越來(lái)越大
b眶熬、預(yù)訓(xùn)練給了更多的數(shù)據(jù)
現(xiàn)在nlp最前沿贸弥，圖像次之盔憨，推薦最垃圾
推薦的特性走預(yù)訓(xùn)練不好走通问慎。
