基本信息
1.?標題：ChatCAD: Interactive Computer-Aided Diagnosis on Medical Image using Large Language Models.
2.?期刊：arXiv
3. IF/JCR/分區(qū)：無
4. DOI：arXiv:2302.07257
5. 作者：沈定剛教授團隊
1. 導(dǎo)讀
2023年年初最火熱的話題之一就是OpenAI的ChatGPT1，給人類帶來了巨大的沖擊诲锹。1月底繁仁，美國《財富》雜志2/3月合刊的封面文章《全球爆紅的ChatGPT是如何誕生的？》引爆了創(chuàng)投圈归园。在這巨大的浪潮沖擊下黄虱，如何讓其在醫(yī)療領(lǐng)域發(fā)揮其強大的作用呢？沈定剛教授團隊給出了初步的答案庸诱。在本文中捻浦，作者提出了一種將大型語言模型（LLMs）集成到醫(yī)學(xué)影像計算機輔助診斷網(wǎng)絡(luò)中的初步方法。
2. 背景動機
2.1 計算機輔助診斷（CAD）
傳統(tǒng)的計算機輔助診斷網(wǎng)絡(luò)模型是基于各種計算機視覺的先進算法在大量數(shù)據(jù)上進行訓(xùn)練桥爽，使他們能夠?qū)W習(xí)識別特定于醫(yī)學(xué)領(lǐng)域的視覺信息中的復(fù)雜模式和關(guān)系朱灿，在醫(yī)學(xué)領(lǐng)域的各個任務(wù)中已取得了顯著性地效果。
2.2 大型語言模型（LLMs）
大型語言模型（如ChatGPT）是經(jīng)過大量文本數(shù)據(jù)訓(xùn)練的高級人工智能系統(tǒng)钠四，在自然語言處理方面取得了顯著成果盗扒，并有可能徹底改變各個行業(yè)。ChatGPT已經(jīng)成功通過了部分美國醫(yī)療執(zhí)照考試，展示了其在增加醫(yī)療專業(yè)人員提供護理方面的潛力侣灶。然而LLMs目前難以從醫(yī)學(xué)影像中解釋和提取信息甸祭，從而限制了他們?nèi)嬷С峙R床決策過程的能力。但醫(yī)學(xué)影像在臨床決策中發(fā)揮著巨大的作用褥影，如何整合 LLM 以理解計算機視覺任務(wù)中的視覺信息是一個有趣的問題池户。
2.3 視覺語言模型?
一種流行的將視覺信息轉(zhuǎn)換為語言的方法是通過圖像描述。通過訓(xùn)練大量的數(shù)據(jù)伪阶，基于深度學(xué)習(xí)的圖像描述模型可以生成連貫的描述煞檩。
在醫(yī)學(xué)圖像分析中，研究人員使用異質(zhì)圖栅贴、知識圖譜和自監(jiān)督算法等方法對圖像進行描述來生成影像報告斟湃。
近年來，隨著模型規(guī)模的增大檐薯，該領(lǐng)域的進展已轉(zhuǎn)向視覺語言預(yù)訓(xùn)練和利用預(yù)訓(xùn)練模型凝赛，如：CLIP2、Frozen3和Flamingo4等坛缕。
3. 研究目的
本文目標是將 LLM 的醫(yī)學(xué)領(lǐng)域知識和邏輯推理的優(yōu)勢與現(xiàn)有醫(yī)學(xué)圖像 CAD 模型的視覺理解能力相結(jié)合墓猎，為患者創(chuàng)建一個比傳統(tǒng) CAD 系統(tǒng)更加用戶友好和易于理解的系統(tǒng)。這樣患者就可以更好地理解病情赚楚，減少患者的咨詢開銷毙沾，增強在線醫(yī)療服務(wù)的可行性。
圖2：使用LLMS的交互式CAD宠页。本例使用ChatGPT作為LLM左胞。例如，基于圖像和生成的報告举户，患者可以詢問適當(dāng)?shù)闹委煼桨福ǖ诙€面板）或定義醫(yī)學(xué)術(shù)語烤宙，如"空域整合" （第三個面板）〖筻遥或者以患者的主訴（第四小組）躺枕，LLMs可以解釋為什么會出現(xiàn)這樣的癥狀。
4. 模型構(gòu)建?
圖1：模型策略總覽供填。
4.1 圖像和文本的連接?
為了將醫(yī)學(xué)影像轉(zhuǎn)為文本內(nèi)容輸入到LLM中拐云，作者采用了以下策略：
1. 將影像輸入到訓(xùn)練好的CAD模型中產(chǎn)生輸出。
2. 將該輸出轉(zhuǎn)為自然語言近她。
3. 使用語言模型總結(jié)結(jié)果并作出最總的總結(jié)叉瘩。
4. 基于以上結(jié)果和語言模型（基于醫(yī)學(xué)知識預(yù)訓(xùn)練），參與關(guān)于癥狀泄私、診斷和治療的談話房揭。
以圖3為例：
need-to-insert-img
圖3：提示張量和文本之間的橋梁备闲。我們展示了三種不同的提示設(shè)計。
1. CAD模型的分類輸出為一個含有5個概率值的向量捅暴。（即判別為五種類別的可能性）恬砂。
2. 將上述結(jié)果轉(zhuǎn)為一個用以用于LLM的提示性語句。一種自然的提示方式是顯示所有五種病理及其相應(yīng)的分數(shù)蓬痒。
①?為了避免一些誤解泻骤，規(guī)定“疾病得分越高，患病的可能性就越大”作為基本規(guī)則梧奢。
②?將每種疾病的分數(shù)表示為“{疾病}分數(shù)：{分數(shù)}”（Prompt#1）狱掂。但這種表示不符合臨床報告需求。
③?為了和臨床報告形式一致亲轨，作者又將概率分數(shù)轉(zhuǎn)為定性描述疾病的嚴重程度趋惨。“沒有跡象”[0.0-0.2]惦蚊，“可能性很小”[0.2-0.5]器虾，“可能”[0.5-0.9]，“肯定”[0.9 及以上）蹦锋。（Prompt#2）
④?為了使報告更簡潔兆沙，報告診斷分數(shù)高于 0.5 的疾病。（Prompt#3）
如果沒有預(yù)測在這五種類別中莉掂，則顯示“未發(fā)現(xiàn)”葛圃。
4.2 數(shù)據(jù)集和實驗設(shè)定??
模型：
● CvT2DistilGPT25
● R2GenCMN6
● 本文提出的模型（基于GPT-3）
● 本文提出的模型（基于ChatGPT）
數(shù)據(jù)：
● 用于報告生成的數(shù)據(jù)：MIMIC-CXR7
● 用于疾病分類器訓(xùn)練的數(shù)據(jù)：CheXpert8
5. 實驗結(jié)果
5.1 報告生成
5.1.1 改進后的報告的質(zhì)量 ?
表1：模型診斷正確率對比。
圖5：四種模型在五次觀測上的F1分數(shù)憎妙。
5.1.2 LLMs是如何影響報告質(zhì)量?
語言模型的診斷能力與其大小成正比库正，這突顯了LLMS的邏輯推理能力的關(guān)鍵作用。
need-to-insert-img
表2：比較不同大小的GPT-3模型的性能尚氛。參數(shù)大的模型更好些诀诊。
越有效的模型會產(chǎn)生更長的報告洞渤。
圖6：不同模型生成報告的長度阅嘶。
5.2 交互的、可理解的CAD
ChatCAD能夠利用LLM廣泛而可靠的醫(yī)學(xué)知識來提供交互式的解釋和建議载迄。通過這種方法讯柔，患者可以更清楚地了解自己的癥狀、診斷和治療方案护昧，從而更高效魂迄、更具成本效益地咨詢醫(yī)療專家。
隨著語言模型的不斷進步惋耙，隨著對更可信的醫(yī)療培訓(xùn)數(shù)據(jù)的訪問捣炬，ChatCAD變得更加準確熊昌，ChatCAD有潛力顯著提高在線醫(yī)療服務(wù)的質(zhì)量。
圖7：兩個ChatCAD案例湿酸。一個討論胸腔積液婿屹，另一篇討論水腫及其與腫脹的關(guān)系。
圖8：基于ChatGPT的模型生成的報告推溃。
6. 局限不足
目前這個方向是個比較新的領(lǐng)域昂利，還是有很多工作需要去完善：
● LLM生成的報告在某種程度上不像人類。ChatCAD 提高了診斷準確性铁坎，但降低了 BLEU 分數(shù)9蜂奸。
● ChatCAD只給出了三種prompts，還需要繼續(xù)完善硬萍。
● ChatCAD中不包含患者的主訴信息扩所，因為沒有相應(yīng)的數(shù)據(jù)庫。需要更好的數(shù)據(jù)集和基準朴乖。
● 視覺分類器的作用尚未得到探索碌奉，需要進行額外的研究以確定具有更大參數(shù)的ViT或 SwinTransformer等模型是否可以提供改進的結(jié)果。
● LLMs也可以用來幫助視覺模型的訓(xùn)練寒砖，比如利用在LLMs中學(xué)到的相關(guān)醫(yī)學(xué)知識來修正視覺模型的輸出赐劣。
● 對prompt設(shè)計只是進行定性分析，應(yīng)該進行更準確的定量評估哩都。
● ChatCAD的內(nèi)容沒有和臨床醫(yī)生進行專業(yè)的討論魁兼，需要進一步完善。
7. 一些想法
● 雖然本文不那么完善（畢竟只是preprint漠嵌，說不定作者已經(jīng)在改進的路上了）咐汞，但作者團隊相當(dāng)于挖了一個坑給大家，大家快沖儒鹿！化撕。（大佬們的動作真的快啊Ｔ佳住）
● 基于現(xiàn)有的通用人工智能ChatGPT植阴，給其輸入醫(yī)學(xué)知識學(xué)習(xí)構(gòu)建ChatMedicine是一個很有意思的研究。（畢竟人工智能和人最大的區(qū)別是：你給他知識他是真的學(xué)盎场Ｂ邮帧）
▎腳注列表
[1] 關(guān)于ChatGPT的解讀互聯(lián)網(wǎng)很多，推薦兩個：https://zhuanlan.zhihu.com/p/597586623狸捕；https://mp.weixin.qq.com/s/IF43iCk4v3qwIBjMdljtJA
[2] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In International Conference on Machine Learning, pages 8748–8763. PMLR, 2021.
[3] Maria Tsimpoukelli, Jacob L Menick, Serkan Cabi, SM Eslami, Oriol Vinyals, and Felix Hill. Multimodal few-shot learning with frozen language models. Advances in Neural Information Processing Systems, 34:200–212, 2021.
[4] Jean-Baptiste Alayrac, Jeff Donahue, Pauline Luc, Antoine Miech, Iain Barr, Yana Hasson, Karel Lenc, Arthur Mensch, Katie Millican, Malcolm Reynolds, et al. Flamingo: a visual language model for few-shot learning. arXiv preprint arXiv:2204.14198, 2022.
[5] Aaron Nicolson, Jason Dowling, and Bevan Koopman. Improving chest x-ray report generation by leveraging warmstarting. arXiv preprint arXiv:2201.09405, 2022.
[6] Zhihong Chen, Yaling Shen, Yan Song, and Xiang Wan. Generating radiology reports via memory-driven transformer. In Proceedings of the Joint Conference of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, Aug. 2021.
[7] Alistair EW Johnson, Tom J Pollard, Seth J Berkowitz, Nathaniel R Greenbaum, Matthew P Lungren, Chih-ying Deng, Roger G Mark, and Steven Horng. Mimic-cxr, a deidentified publicly available database of chest radiographs with free-text reports. Scientific data, 6(1):317, 2019.
[8] Jeremy Irvin, Pranav Rajpurkar, Michael Ko, Yifan Yu, Silviana Ciurea-Ilcus, Chris Chute, Henrik Marklund, Behzad Haghgoo, Robyn Ball, Katie Shpanskaya, et al. Chexpert: A large chest radiograph dataset with uncertainty labels and expert comparison. In Proceedings of the AAAI conference on artificial intelligence, volume 33, pages 590–597, 2019.
[9] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pages 311–318, 2002.
