一、寫在前面的話
- 論文的相關(guān)背景
疾病的自動(dòng)診斷是指根據(jù)電子病歷信息自動(dòng)地診斷患者所患的疾病反粥。EMR通常包含以下信息：
其中婴渡，CC（chief com- plaint）是病人自述自己的癥狀或（和）體征俺抽、性質(zhì)以及持續(xù)時(shí)間等內(nèi)容，HPI（history of present illness）是記述患者病后的全過(guò)程（即發(fā)生沸伏、發(fā)展糕珊、演變和診治經(jīng)過(guò)），PE（physical examination）是各項(xiàng)體格檢查毅糟，SE（supplementary examination）是其他各類檢查報(bào)告放接，F(xiàn)inding是通過(guò)NER獲得癥狀實(shí)體
- 論文摘要翻譯
疾病自動(dòng)診斷領(lǐng)域一直存在缺乏高質(zhì)量的語(yǔ)料訓(xùn)練預(yù)測(cè)模型的問(wèn)題。此外留特，先前基于深度學(xué)習(xí)的診斷模型大多采用CNN或RNN對(duì)文本信息進(jìn)行直接建模纠脾，導(dǎo)致關(guān)鍵醫(yī)療實(shí)體之間的復(fù)雜結(jié)構(gòu)信息未被有效利用。在本文中蜕青，我們基于來(lái)自實(shí)際醫(yī)院的高質(zhì)量電子病歷文檔構(gòu)建診斷模型苟蹈，以提高所得模型的準(zhǔn)確性和可信度。同時(shí)右核，我們將圖卷積網(wǎng)絡(luò)引入到模型中慧脱，以減輕稀疏特征問(wèn)題，并促進(jìn)模型融入圖結(jié)構(gòu)信息贺喝。此外菱鸥，我們引入文本與圖結(jié)構(gòu)的相互注意力機(jī)制增強(qiáng)輸入的表示宗兼，從而獲得更好的模型性能。本文最后在真實(shí)EMR上對(duì)模型進(jìn)行評(píng)估氮采，結(jié)果表明與先前僅使用序列學(xué)習(xí)的診斷模型相比殷绍，本文所提出的模型更準(zhǔn)確。該模型已被納入部分中國(guó)的初級(jí)衛(wèi)生保健機(jī)構(gòu)的信息系統(tǒng)鹊漠，以協(xié)助醫(yī)生進(jìn)行診斷過(guò)程主到。
-
論文的主要?jiǎng)?chuàng)新和貢獻(xiàn)
針對(duì)疾病自動(dòng)診斷模型未能利用關(guān)鍵醫(yī)療實(shí)體之間的結(jié)構(gòu)信息的問(wèn)題，引入圖卷積
引入文本與圖結(jié)構(gòu)的相互注意力機(jī)制
二躯概、論文模型
-
模型簡(jiǎn)要：
論文標(biāo)題：The Graph-based Mutual Attentive Network for Automatic Diagnosis
研究領(lǐng)域：疾病診斷
提出時(shí)間：2020
主干網(wǎng)絡(luò)：CNN + BiGRU + GCN
模型架構(gòu)
- 輸入
輸入主要可以分成兩部分登钥，一部分是主訴、現(xiàn)病史等純文本（通過(guò)jieba進(jìn)行分詞）另一部分則是NER獲取的醫(yī)療實(shí)體
- 主干網(wǎng)絡(luò) - MultiChannelCNN
純文本通過(guò)嵌入之后獲得詞向量通過(guò)MultiChannelCNN進(jìn)行特征抽热⒚摇：
- 主干網(wǎng)絡(luò) - BiGRU
純文本通過(guò)嵌入之后獲得詞向量通過(guò)BiGRU進(jìn)行特征抽饶晾巍：
使用平均池化獲取整句的向量表示：
- 主干網(wǎng)絡(luò) - GCN
想要在診斷時(shí)利用疾病-癥狀的圖結(jié)構(gòu)信息，需要一個(gè)GCN網(wǎng)絡(luò)姿锭，該圖結(jié)構(gòu)主要由疾病之間的父子關(guān)系和疾病與癥狀之間的關(guān)系組成
疾病之間的父子關(guān)系是無(wú)權(quán)邊塔鳍，而疾病與癥狀之間則是有權(quán)邊，邊的權(quán)重由以下公式定義：
其中艾凯，是指包含疾病
的病歷數(shù)献幔，N則是總文檔數(shù)懂傀，
是癥狀
在包含疾病
的病歷中出現(xiàn)的次數(shù)
最后趾诗，需要?dú)w一化，歸一化公式如下所示：
文章提到由于A矩陣長(zhǎng)尾現(xiàn)象嚴(yán)重蹬蚁，所以在構(gòu)圖時(shí)對(duì)每一個(gè)疾病僅保留Top5的癥狀
GCN建模部分其實(shí)也是分成兩塊恃泪，一塊是對(duì)疾病之間的父子關(guān)系所組成的圖結(jié)構(gòu)進(jìn)行學(xué)習(xí)，獲取疾病的圖嵌入信息：
其中是疾病
的所有父節(jié)點(diǎn)集合猪半，
是疾病
的所有子節(jié)點(diǎn)集合
另一塊則是基于疾病與癥狀所組成的圖結(jié)構(gòu)伯襟，學(xué)習(xí)癥狀的嵌入信息：
其中是癥狀
的所有鄰居結(jié)點(diǎn)集合（即與癥狀
相連的疾病節(jié)點(diǎn)）
論文中沒(méi)有介紹圖網(wǎng)絡(luò)的訓(xùn)練方式关斜，但論文提到這一塊參考GraphRel，所以應(yīng)該是隨著網(wǎng)絡(luò)一起訓(xùn)練
- 主干網(wǎng)絡(luò) - Mutual Attentive Network
Attention部分也是分成兩塊览效，兩者是串行關(guān)系，先是text-guided attention：使用BiGRU部分生成的句子向量與所有從NER獲取的癥狀的圖嵌入做Attention:
最后通過(guò)attention權(quán)重加和所有的癥狀嵌入
接著則是finding guided attention：使用上文通過(guò)attention權(quán)重加權(quán)求和獲得的癥狀向量與MultiChannelCNN生成的向量做Attention：
最后同樣使用attention加權(quán)求和：
- 主干網(wǎng)絡(luò) - MLP
這一部分就是加權(quán)求和得到的癥狀向量虫几、文本向量以及一些病人的基本信息拼接锤灿，通過(guò)全連接層進(jìn)行映射
- 損失函數(shù)
論文沒(méi)有提到損失，估計(jì)應(yīng)該是交叉熵
三辆脸、論文實(shí)驗(yàn)
- 實(shí)驗(yàn)數(shù)據(jù)集和指標(biāo)介紹
- 數(shù)據(jù)集
論文的數(shù)據(jù)集有兩部分但校，一部分是真實(shí)的醫(yī)療場(chǎng)景中的EMR（神經(jīng)科和心內(nèi)科）數(shù)據(jù)形式見(jiàn)上文相關(guān)背景中的圖片，另一部分是MIMIC-III- 50英文病歷數(shù)據(jù)集
- 評(píng)測(cè)指標(biāo)
中文數(shù)據(jù)采用 R@1和 P@1啡氢，英文數(shù)據(jù)采用 R@5 和P@5
- 模型診斷展示
- 對(duì)比結(jié)果
其中CNN和BiGRU就是將這兩個(gè)網(wǎng)絡(luò)結(jié)構(gòu)用在疾病診斷領(lǐng)域状囱，ACNN是在CNN的基礎(chǔ)上加入了gram-level attention术裸，CAML是在CNN的基礎(chǔ)上加入了label-wise attention，GCN亭枷、MAN 是僅使用GCN或MAN的情況袭艺，GPAP則是使用Parallel Attentive Pooling（這篇還沒(méi)有去研究）
結(jié)果上當(dāng)然是提升，不過(guò)對(duì)比的論文都不是很新奶栖。論文加入圖結(jié)構(gòu)信息的部分還是蠻好的匹表，整體下來(lái)思路也很清晰，不過(guò)可惜的是沒(méi)有給代碼宣鄙。
