簡介： 詞向量作為一種預(yù)訓(xùn)練模型在NLP領(lǐng)域應(yīng)用非常廣泛茵典，詞向量可以看作是表達(dá)詞的語義。在這個(gè)領(lǐng)域，一個(gè)重要的挑戰(zhàn)為一個(gè)單詞在不同的上下文里有可能表示不一樣的語義，那如何解決這個(gè)問題呢舶沛？在本次講座里，我們重點(diǎn)來講解ELMo窗价，它是一種基于BI-LSTM的深度學(xué)習(xí)模型如庭，用來動(dòng)態(tài)地計(jì)算一個(gè)單詞在上下文中的語義向量。
大綱：
預(yù)訓(xùn)練與詞向量
詞向量的常見訓(xùn)練方法
深度學(xué)習(xí)與層次表示
LSTM撼港， BI-LSTM模型回顧
基于BI-LSTM的ELMo算法
總結(jié)
語義的量化表示是NLP的核心
語言模型坪它，用來判斷一句話從語法上是否通順/合法骤竹，聯(lián)合概率
word2vec，bert
LM：language model往毡，考慮了馬爾科夫語言模型
MF：矩陣分解瘤载，LDA：主題分解
詞向量常見訓(xùn)練方法比較
問答
IoT，物聯(lián)網(wǎng)卖擅、機(jī)器人鸣奔、在線教育、量化投資（股民等的情感分析惩阶、政策及最新消息的分析）等領(lǐng)域發(fā)展
nlp16年起來繁榮挎狸，而cv 09后即紅火。
有潛力的領(lǐng)域：圖模型断楷，可以結(jié)合到先驗(yàn)知識(shí)锨匆，這點(diǎn)在神經(jīng)網(wǎng)絡(luò)中比較難？
