3分鐘熱情學(xué)NLP第10篇，ELMo模型
1、word2vec和glove面臨的嚴(yán)重問題
word2vec和glove面臨的1個嚴(yán)重的問題是多義詞問題。
在Word Embedding 時，單詞的向量值是唯一的箫攀，如中文“蘋果”，英文“bank”幼衰，在訓(xùn)練時靴跛，這些多義詞會被訓(xùn)練成“同義詞”，即它們在模型中向量值是1個塑顺。word2vec無法表示多義汤求。
ElMo模型，可以有效地解決多義詞問題严拒。
2扬绪、ElMo模型簡介
ELMO，Embedding from Language Models裤唠，
對應(yīng)的論文為：Deep contextualized word representation挤牛，地址：https://www.aclweb.org/anthology/N18-1202/
相比于Word2vec等靜態(tài)的Word Embedding模型，ELMo模型的特點(diǎn)就是种蘸，根據(jù)實(shí)際單詞的上下文墓赴，動態(tài)地去調(diào)整預(yù)訓(xùn)練好的Word Embedding的向量值竞膳。
比如，在“蘋果”的上文有“水果”這個詞诫硕，那么坦辟，我們就可以調(diào)整 當(dāng)前 蘋果 的向量值。
2章办、ElMo的2個階段
第一個階段是利用語言模型進(jìn)行預(yù)訓(xùn)練锉走；
第二個階段是在做下游任務(wù)時，從預(yù)訓(xùn)練網(wǎng)絡(luò)中提取對應(yīng)單詞Embedding作為新特征補(bǔ)充到下游任務(wù)中藕届。
