簡(jiǎn)介
- 發(fā)表于CIKM2013' ,論文地址為Learning Deep Structured Semantic Modelsfor Web Searchusing Clickthrough Data
-
模型結(jié)構(gòu)
DSSM結(jié)構(gòu)
優(yōu)缺點(diǎn)
優(yōu)點(diǎn)
- DNN部分的所有權(quán)重都是共享的
- wordhash能很好的對(duì)原始輸入進(jìn)行降維(500k->30k)，而且能解決一些新詞的問題
- 利用了點(diǎn)擊數(shù)據(jù)來進(jìn)行有監(jiān)督的訓(xùn)練
缺點(diǎn)
- DSSM采用了詞袋模型婶熬，損失了上下文信息
- 無法加入更多的信息
變種
對(duì)DSSM的優(yōu)化出現(xiàn)了很多的變種而叼，有CNN-DSSM谣膳，LSTM-DSSM苛聘，MV-DSSM等。大多對(duì)隱藏層做了一些修改脏里，原論文如下：
- CNN-DSSM：http://www.iro.umontreal.ca/~lisa/pointeurs/ir0895-he-2.pdf
- LSTM-DSSM：https://arxiv.org/pdf/1412.6629.pdf
- MV-DSSM：https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/frp1159-songA.pdf
- 對(duì)于中文踩麦，由于常用的單字為 1.5 萬左右，而常用的雙字大約到百萬級(jí)別了勾徽，所以這里出于向量空間的考慮滑凉，采用字向量（one-hot）作為輸入，向量空間約為 1.5 萬維喘帚。
實(shí)踐中的優(yōu)化
-百度這個(gè)做了很多優(yōu)化畅姊，比如框架架構(gòu)、相似計(jì)算結(jié)構(gòu)等等吹由，此外若未，我們還發(fā)現(xiàn)字粒度下有很好的泛化性，能很好的彌補(bǔ)詞粒度輸入的不足倾鲫，如切詞的錯(cuò)誤和未登錄詞 OOV 問題粗合。百度NLP | 神經(jīng)網(wǎng)絡(luò)語義匹配技術(shù)
- 淘寶這個(gè)優(yōu)化主要在訓(xùn)練樣本獲取和模型結(jié)構(gòu)上。深度語義模型以及在淘寶搜索中的應(yīng)用
TODO
MV-DSSM其實(shí)是一個(gè)多模態(tài)+遷移學(xué)習(xí)乌昔，使用multi-view DNN模型構(gòu)建推薦隙疚，包括app、新聞磕道、電影和TV甚淡，相比于最好的算法，老用戶提升49%，新用戶提升110%贯卦。
參考鏈接：https://blog.csdn.net/shine19930820/article/details/78810984
