本文主要復(fù)述論文["A Language-Independent Neural Network for Event Detection"] 的主要內(nèi)容，以便自我回顧，也希望可以給大噶帶來幫助~
摘要
提出了一個混合神經(jīng)網(wǎng)絡(luò)牵署，用于捕獲特定上下文中的序列和塊信息，并使用它們來訓(xùn)練多種語言的事件檢測器，而不需要任何手動編碼的特征站宗。對多種不同語言也能取得很好的效果。
介紹
論文中描述了事件抽取的其中一個關(guān)鍵點(diǎn)是詞的二義性問題益愈。如圖Figure1中對release不同情境下的語義描述：
綜合事件抽取方向已提出的模型梢灭，作者開發(fā)了一個混合神經(jīng)網(wǎng)絡(luò)夷家，結(jié)合了Bi-LSTM模型與CNN模型，從特定的上下文中對序列和塊信息進(jìn)行建模敏释。學(xué)習(xí)句子中每個單詞的連續(xù)表示库快，用以預(yù)測是否為事件觸發(fā)器。
該網(wǎng)絡(luò)先使用Bi-LSTM钥顽，結(jié)合每個詞的上下文信息對其語義編碼义屏，再添加CNN網(wǎng)絡(luò)依據(jù)當(dāng)前上下文來捕獲結(jié)構(gòu)信息。同樣的蜂大，作者也選擇了skip-Gram對輸入做預(yù)處理闽铐。訓(xùn)練時則分別以英語、漢語奶浦、西班牙語三種語言做語料庫并進(jìn)行評估兄墅。
Bi-LSTM
僅選擇RNN模型，在其反向傳播更新參數(shù)的問題中會出現(xiàn)梯度消失或梯度爆炸問題澳叉。在模型中應(yīng)用LSTM結(jié)構(gòu)察迟，通過對單個時間步長添加門限可以控制這個問題的出現(xiàn)。論文中選擇Bi-LSTM耳高，即雙向循環(huán)網(wǎng)絡(luò)扎瓶，詞向量表示由上下文的相關(guān)性共同決定，可以更加有效地提高參數(shù)訓(xùn)練的精度泌枪。
CNN
CNN將卷積運(yùn)算應(yīng)用于神經(jīng)網(wǎng)絡(luò)中概荷，代替?zhèn)鹘y(tǒng)的矩陣運(yùn)算從而起到系統(tǒng)性能的優(yōu)化作用。此外碌燕，CNN還通過參數(shù)共享降低了存儲需求误证，并提升了統(tǒng)計(jì)效率。CNN卷積層通常包括三級修壕，前兩級分別產(chǎn)生線性激活函數(shù)和非線性激活函數(shù)愈捅，第三級則采用一個池化函數(shù)來進(jìn)一步調(diào)整輸出。最大池化函數(shù)可以給出相鄰矩陣內(nèi)的最大值慈鸠，從而保證平移不變性蓝谨。
輸出
通過Bi-LSTM學(xué)習(xí)到前向和后向兩個特征向量F和B凭豪，令局部上下文特征為C2宵睦，通過CNN學(xué)習(xí)到的特征向量定義為C3。拼接以上所學(xué)習(xí)到的向量墅诡，作為我們的總特征向量O壳嚎，然后利用softmax方法識別觸發(fā)候選者并將每個觸發(fā)候選者分類為特定事件類型。
模型訓(xùn)練
定義事件觸發(fā)器識別與觸發(fā)器分類作為交叉熵?fù)p失函數(shù)末早。table1表述了各參數(shù)的設(shè)置烟馅。
