Basic Information
- 英文標(biāo)題: Towards a general-purpose foundation model for computational pathology
- 中文標(biāo)題:朝著計(jì)算病理學(xué)領(lǐng)域通用基礎(chǔ)模型的發(fā)展
- 發(fā)表日期:19 March 2024
- 文章類型:Article
- 所屬期刊:Nature Medicine
- 文章作者:Richard J. Chen | Faisal Mahmood
- 文章鏈接:https://www.nature.com/articles/s41591-024-02857-3
Abstract
- 組織圖像的定量評(píng)估對(duì)于計(jì)算病理學(xué)(CPath)任務(wù)至關(guān)重要桨仿,這需要從全切片圖像(WSIs)中對(duì)組織病理學(xué)實(shí)體進(jìn)行客觀表征缨该。
- WSIs的高分辨率和形態(tài)特征的多樣性帶來了顯著挑戰(zhàn),增加了為高性能應(yīng)用進(jìn)行大規(guī)模數(shù)據(jù)標(biāo)注的復(fù)雜性窍帝。
- 為了解決這一挑戰(zhàn),目前的研究提出了通過遷移學(xué)習(xí)使用預(yù)訓(xùn)練的圖像編碼器,這些編碼器來自自然圖像數(shù)據(jù)集鸭栖,或通過自監(jiān)督學(xué)習(xí)使用公開可用的組織病理學(xué)數(shù)據(jù)集,但這些方法尚未在不同類型的組織中進(jìn)行大規(guī)模的發(fā)展和評(píng)估握巢。
- 我們介紹了UNI晕鹊,這是一種通用的自監(jiān)督病理學(xué)模型,使用來自超過100,000張?jiān)\斷用H&E染色WSIs(超過77 TB的數(shù)據(jù))中超過1億張圖像進(jìn)行預(yù)訓(xùn)練暴浦,涵蓋了20種主要的組織類型溅话。
- 該模型在34個(gè)具有不同診斷難度的代表性CPath任務(wù)上進(jìn)行了評(píng)估。
- 除了優(yōu)于以前的最先進(jìn)模型外肉渴,我們還展示了CPath中的新建模能力公荧,如分辨率無關(guān)的組織分類、使用少樣本類原型進(jìn)行的切片分類同规,以及在OncoTree分類系統(tǒng)中對(duì)多達(dá)108種癌癥類型進(jìn)行的疾病亞型泛化。
- UNI在CPath中推進(jìn)了大規(guī)模的無監(jiān)督表示學(xué)習(xí),在預(yù)訓(xùn)練數(shù)據(jù)和下游評(píng)估方面取得了進(jìn)展券勺,能夠支持?jǐn)?shù)據(jù)高效的人工智能模型绪钥,這些模型可以泛化并遷移到解剖病理學(xué)中各種具有診斷挑戰(zhàn)性的任務(wù)和臨床工作流程中。
Main
- 病理學(xué)的臨床實(shí)踐涉及執(zhí)行大量任務(wù):從腫瘤檢測(cè)和分型到分級(jí)和分期关炼,由于可能的診斷數(shù)以千計(jì)程腹,病理學(xué)家必須擅長(zhǎng)解決種類繁多的問題,且通常需要同時(shí)應(yīng)對(duì)這些問題1,2,3,4儒拂。
- 當(dāng)代計(jì)算病理學(xué)(CPath)通過實(shí)現(xiàn)分子改變預(yù)測(cè)5,6寸潦、預(yù)后預(yù)測(cè)7,8,9以及治療反應(yīng)預(yù)測(cè)10等應(yīng)用,進(jìn)一步擴(kuò)展了這一任務(wù)范圍11,12,13,14社痛。
- 由于任務(wù)種類繁多见转,從頭開始訓(xùn)練模型在實(shí)際操作中存在諸多限制,這主要是因?yàn)楂@取病理學(xué)家注釋蒜哀、為單一疾病建立大規(guī)模組織學(xué)集合以及獲取罕見疾病數(shù)據(jù)的挑戰(zhàn)斩箫。
- 這些因素導(dǎo)致CPath中依賴遷移學(xué)習(xí)技術(shù),這些技術(shù)已在諸如轉(zhuǎn)移檢測(cè)15撵儿、突變預(yù)測(cè)16,17乘客、前列腺癌分級(jí)18以及結(jié)果預(yù)測(cè)9,19,20等任務(wù)中證明了其有效性。
- 在這項(xiàng)工作中淀歇,我們?cè)谥暗难芯炕A(chǔ)上引入了一種通用的自監(jiān)督視覺編碼器UNI易核,這是一個(gè)大型視覺變換器(ViT-Large或ViT-L)75,經(jīng)過自監(jiān)督學(xué)習(xí)的最大組織切片集合之一進(jìn)行預(yù)訓(xùn)練浪默,稱為“Mass-100K”牡直。
- Mass-100K是一個(gè)預(yù)訓(xùn)練數(shù)據(jù)集,由從馬薩諸塞州總醫(yī)院(MGH)和布萊根婦女醫(yī)院(BWH)以及基因型-組織表達(dá)(GTEx)聯(lián)盟76收集的100,426張?jiān)\斷用H&E WSIs中的超過1億個(gè)組織塊構(gòu)成浴鸿,提供了豐富的信息來源井氢,用于學(xué)習(xí)組織病理學(xué)生物標(biāo)志物的客觀表征(圖1a和補(bǔ)充表1-3)。
- 在預(yù)訓(xùn)練階段岳链,我們使用了一種名為DINOv2(參考文獻(xiàn)22)的自監(jiān)督學(xué)習(xí)方法花竞,該方法已被證明能夠在不需要進(jìn)一步使用標(biāo)注數(shù)據(jù)進(jìn)行微調(diào)的情況下,為下游任務(wù)提供強(qiáng)大的即用型表示(圖1b)掸哑。
- 我們展示了UNI在CPath中各種機(jī)器學(xué)習(xí)設(shè)置中的多功能性约急,包括ROI級(jí)分類、分割和圖像檢索苗分,以及切片級(jí)弱監(jiān)督學(xué)習(xí)(圖1c)厌蔽。
- 總的來說,我們?cè)?4個(gè)解剖病理學(xué)臨床任務(wù)和一系列診斷難度上評(píng)估了UNI摔癣,如細(xì)胞核分割奴饮、原發(fā)性和轉(zhuǎn)移性癌癥檢測(cè)纬向、癌癥分級(jí)和分型、生物標(biāo)志物篩查和分子分型戴卜、器官移植評(píng)估以及包括OncoTree癌癥分類系統(tǒng)中108種癌癥類型分型在內(nèi)的多項(xiàng)泛癌分類任務(wù)77(圖1d和2a)逾条。
- 除了優(yōu)于先前的最先進(jìn)模型如CTransPath37和REMEDIS38外,我們還展示了UNI的多種能力投剥,如分辨率無關(guān)的組織分類和基于提示的少樣本類原型切片分類(圖2d)师脂,突顯了UNI作為解剖病理學(xué)中人工智能(AI)模型進(jìn)一步發(fā)展的基礎(chǔ)模型的潛力。
- 在這項(xiàng)工作中江锨,我們?cè)谥暗难芯炕A(chǔ)上引入了一種通用的自監(jiān)督視覺編碼器UNI吃警,這是一個(gè)大型視覺變換器(ViT-Large或ViT-L)75,經(jīng)過自監(jiān)督學(xué)習(xí)的最大組織切片集合之一進(jìn)行預(yù)訓(xùn)練啄育,稱為“Mass-100K”酌心。
- Mass-100K是一個(gè)預(yù)訓(xùn)練數(shù)據(jù)集,由從馬薩諸塞州總醫(yī)院(MGH)和布萊根婦女醫(yī)院(BWH)以及基因型-組織表達(dá)(GTEx)聯(lián)盟76收集的100,426張?jiān)\斷用H&E WSIs中的超過1億個(gè)組織塊構(gòu)成灸撰,提供了豐富的信息來源谒府,用于學(xué)習(xí)組織病理學(xué)生物標(biāo)志物的客觀表征(圖1a和補(bǔ)充表1-3)。
- 在預(yù)訓(xùn)練階段浮毯,我們使用了一種名為DINOv2(參考文獻(xiàn)22)的自監(jiān)督學(xué)習(xí)方法完疫,該方法已被證明能夠在不需要進(jìn)一步使用標(biāo)注數(shù)據(jù)進(jìn)行微調(diào)的情況下,為下游任務(wù)提供強(qiáng)大的即用型表示(圖1b)债蓝。
- 我們展示了UNI在CPath中各種機(jī)器學(xué)習(xí)設(shè)置中的多功能性壳鹤,包括ROI級(jí)分類、分割和圖像檢索饰迹,以及切片級(jí)弱監(jiān)督學(xué)習(xí)(圖1c)芳誓。
- 總的來說,我們?cè)?4個(gè)解剖病理學(xué)臨床任務(wù)和一系列診斷難度上評(píng)估了UNI啊鸭,如細(xì)胞核分割锹淌、原發(fā)性和轉(zhuǎn)移性癌癥檢測(cè)、癌癥分級(jí)和分型赠制、生物標(biāo)志物篩查和分子分型赂摆、器官移植評(píng)估以及包括OncoTree癌癥分類系統(tǒng)中108種癌癥類型分型在內(nèi)的多項(xiàng)泛癌分類任務(wù)77(圖1d和2a)。
- 除了優(yōu)于先前的最先進(jìn)模型如CTransPath37和REMEDIS38外钟些,我們還展示了UNI的多種能力烟号,如分辨率無關(guān)的組織分類和基于提示的少樣本類原型切片分類(圖2d),突顯了UNI作為解剖病理學(xué)中人工智能(AI)模型進(jìn)一步發(fā)展的基礎(chǔ)模型的潛力政恍。
Fig. 1: Overview of UNI.
- UNI是一種基于視覺變換器架構(gòu)的通用自監(jiān)督視覺編碼器汪拥,用于解剖病理學(xué),它在解剖病理學(xué)的34項(xiàng)臨床任務(wù)上實(shí)現(xiàn)了最先進(jìn)的性能篙耗。
- a, Mass-100K是一個(gè)大規(guī)模且多樣化的預(yù)訓(xùn)練數(shù)據(jù)集迫筑,包含從超過10萬個(gè)診斷級(jí)全切片圖像中采樣的1億個(gè)組織切片宪赶,涵蓋了20種主要器官類型。
- b, UNI使用DINOv2自監(jiān)督訓(xùn)練算法在Mass-100K上進(jìn)行預(yù)訓(xùn)練铣焊,該算法包括掩膜圖像建模目標(biāo)和自蒸餾目標(biāo)逊朽。
- c, UNI通常在解剖病理學(xué)的34項(xiàng)臨床任務(wù)上優(yōu)于其他預(yù)訓(xùn)練編碼器(報(bào)告了8個(gè)SegPath任務(wù)的平均性能)罕伯。
- d, 評(píng)估任務(wù)包括ROI級(jí)別的分類曲伊、分割、檢索和原型設(shè)計(jì)以及幻燈片級(jí)別的分類任務(wù)追他。更多細(xì)節(jié)見方法部分坟募。
- class., 分類;seg., 分割邑狸;det., 檢測(cè)懈糯;assess., 評(píng)估
Fig. 2: Slide-level tasks for OT-43 and OT-108, and slide-level task performance.
- a, 器官和OncoTree代碼分布用于OT-43和OT-108的幻燈片級(jí)別分類任務(wù)。所有與UNI的比較均基于43種癌癥類型分類和108種OncoTree代碼分類任務(wù)進(jìn)行評(píng)估单雾,分別對(duì)應(yīng)OT-43和OT-108赚哗。關(guān)于數(shù)據(jù)分布的更多細(xì)節(jié)見補(bǔ)充表4。Gen., 生殖器官硅堆;GI, 胃腸道屿储。
- b,d, 在OT-43(b)和OT-108(d)任務(wù)中(每項(xiàng)任務(wù)包含1,620張幻燈片),對(duì)UNI和其他預(yù)訓(xùn)練編碼器的宏平均AUROC進(jìn)行比較渐逃。
- c,e, 在不同預(yù)訓(xùn)練數(shù)據(jù)規(guī)模(Mass-1K够掠、Mass-22K、Mass-100K)下茄菊,UNI在OT-43(c)和OT-108(e)任務(wù)中的Top-1準(zhǔn)確性(每項(xiàng)任務(wù)包含1,620張幻燈片)疯潭。
- f, UNI及其與其他模型在15項(xiàng)弱監(jiān)督幻燈片級(jí)別分類任務(wù)上的監(jiān)督性能對(duì)比。虛線表示每個(gè)模型在所有任務(wù)上的平均性能面殖。所有數(shù)據(jù)以平衡準(zhǔn)確度給出竖哩,ISUP分級(jí)除外,它以Cohen的二次加權(quán)κ系數(shù)給出脊僚。誤差棒代表95%的置信區(qū)間相叁,中心點(diǎn)對(duì)應(yīng)于上述規(guī)定的每個(gè)指標(biāo)計(jì)算值。所有任務(wù)的詳細(xì)結(jié)果見補(bǔ)充表12至35吃挑。Ext., 外部測(cè)試集钝荡。
- g–j, 四項(xiàng)任務(wù)中,每類包含K ∈ {1, 2, 4, 8, 16, 32}張幻燈片的少樣本幻燈片級(jí)別性能報(bào)告舶衬。
- g, 腎細(xì)胞癌亞型分類(訓(xùn)練集埠通,TCGA;測(cè)試集逛犹,CPTAC-DHMC端辱;共872張幻燈片)梁剔。
- h, 乳腺癌精細(xì)亞型分類(BRACS,共87張幻燈片)舞蔽。
- i, 腦腫瘤粗粒度亞型分類(EBRAINS荣病,共573張幻燈片)。
- j, ISUP分級(jí)(PANDA渗柿,共954張幻燈片)个盆。箱形圖顯示了模型性能的四分位數(shù)值(n = 5次運(yùn)行),須狀圖延伸到四分位距1.5倍范圍內(nèi)的數(shù)據(jù)點(diǎn)朵栖。所有任務(wù)的少樣本結(jié)果見擴(kuò)展數(shù)據(jù)圖1胞枕。
Results
Pretraining scaling laws in CPath
CPath中的預(yù)訓(xùn)練擴(kuò)展定律
- 基礎(chǔ)模型的一個(gè)核心特征在于歌粥,當(dāng)在更大的數(shù)據(jù)集上進(jìn)行訓(xùn)練時(shí)熏瞄,它們能夠在各種任務(wù)上實(shí)現(xiàn)改進(jìn)后的下游性能葱绒。
- 盡管像CAMELYON16(2016年淋巴結(jié)中癌癥轉(zhuǎn)移挑戰(zhàn)賽)和TCGA非小細(xì)胞肺癌子集(TCGA-NSCLC)這樣的數(shù)據(jù)集常被用來通過弱監(jiān)督的多實(shí)例學(xué)習(xí)(MIL)算法來基準(zhǔn)測(cè)試預(yù)訓(xùn)練編碼器,但這些數(shù)據(jù)集僅來源于單一器官的組織切片门扇,并且通常用于預(yù)測(cè)二元疾病狀態(tài)雹有,這并不反映現(xiàn)實(shí)世界中解剖病理學(xué)實(shí)踐中所遇到的廣泛疾病實(shí)體。
- 相反臼寄,我們通過構(gòu)建一個(gè)大規(guī)模霸奕、分層和罕見癌癥分類任務(wù)來評(píng)估UNI在不同組織類型和疾病類別上的泛化能力,該任務(wù)遵循OncoTree癌癥分類系統(tǒng)脯厨。
- 使用BWH內(nèi)部的切片铅祸,我們定義了一個(gè)數(shù)據(jù)集,其中包括來自43種癌癥類型的5,564個(gè)全切片圖像(WSI)合武,進(jìn)一步細(xì)分為108個(gè)OncoTree代碼临梗,每個(gè)OncoTree代碼至少包含20個(gè)WSI。
- 根據(jù)RARECARE項(xiàng)目和美國(guó)國(guó)家癌癥研究所的監(jiān)測(cè)稼跳、流行病學(xué)和最終結(jié)果(NCI-SEER)計(jì)劃的定義盟庞,108種癌癥類型中有90種被指定為罕見癌癥。
- 該數(shù)據(jù)集構(gòu)成了兩個(gè)診斷難度不同的任務(wù)的基礎(chǔ):43類OncoTree癌癥類型分類(OT-43)和108類OncoTree代碼分類(OT-108)(圖2a和補(bǔ)充表4)汤善。
- 這些大型多類分類任務(wù)的目標(biāo)并非一定是臨床實(shí)用性什猖,而是為了評(píng)估基礎(chǔ)模型的能力以及與其它模型相比特征表示的豐富性。
- 為了評(píng)估規(guī)模趨勢(shì)红淡,我們還使用不同數(shù)據(jù)規(guī)模對(duì)UNI進(jìn)行了預(yù)訓(xùn)練不狮,從Mass-100K中創(chuàng)建了Mass-22K(16百萬張圖像,21,444個(gè)WSI)和Mass-1K(1百萬張圖像在旱,1,404個(gè)WSI)摇零。
- 我們也通過使用兩種不同的ViT架構(gòu)大小來評(píng)估模型規(guī)模:ViT-Base(或ViT-B)和ViT-Large(或ViT-L)。
- 最后桶蝎,我們也評(píng)估了自監(jiān)督學(xué)習(xí)算法選擇的影響驻仅,并與MoCoV3進(jìn)行了比較谅畅。
- 對(duì)于弱監(jiān)督的切片分類,我們遵循傳統(tǒng)范式噪服,首先使用預(yù)訓(xùn)練編碼器從WSI中的含組織切片提取片級(jí)特征毡泻,然后訓(xùn)練基于注意力的MIL(ABMIL)算法。
- 為了反映這些任務(wù)的標(biāo)簽復(fù)雜性挑戰(zhàn)粘优,我們報(bào)告了前K準(zhǔn)確率(K = 1, 3, 5)以及加權(quán)F1分?jǐn)?shù)和接收者操作特性曲線下的面積(AUROC)性能仇味。
- 關(guān)于OT-43和OT-108任務(wù)、實(shí)驗(yàn)設(shè)置敬飒、實(shí)施細(xì)節(jié)和性能的更多信息分別提供在方法部分邪铲、補(bǔ)充表1-11和補(bǔ)充表12-18中。
- 總體而言无拗,我們?cè)赨NI中展示了自監(jiān)督模型的數(shù)據(jù)和模型擴(kuò)展能力,圖2c和e顯示了UNI在OT-43和OT-108上的擴(kuò)展趨勢(shì)昧碉。
- 在OT-43和OT-108上英染,我們將UNI從Mass-1K擴(kuò)展到Mass-22K使用VIT-L時(shí),觀察到頂級(jí)準(zhǔn)確率提高了+4.2%(P < 0.001被饿,雙側(cè)配對(duì)排列檢驗(yàn))四康。
- 在OT-108上也觀察到了類似的+3.5%性能提升(P < 0.001)。
- 從Mass-22K到Mass-100K狭握,性能進(jìn)一步提高:在OT-43和OT-108上分別提高了+3.7%和+3.0%(P < 0.001)闪金。
- 使用VIT-B時(shí)也觀察到了類似的趨勢(shì),從Mass-22K到Mass-100K期間性能趨于平穩(wěn)(補(bǔ)充表13和16)论颅。
- 補(bǔ)充表14和17顯示了數(shù)據(jù)多樣性和預(yù)訓(xùn)練長(zhǎng)度的影響哎垦,在兩項(xiàng)任務(wù)上從50,000次到125,000次訓(xùn)練迭代表現(xiàn)出單調(diào)改進(jìn)。
- 總體來說恃疯,這些擴(kuò)展趨勢(shì)與許多應(yīng)用于自然圖像的ViT模型所觀察到的發(fā)現(xiàn)一致漏设,在這些模型中,較大的ViT變體隨著預(yù)訓(xùn)練數(shù)據(jù)集的增長(zhǎng)而表現(xiàn)得更好今妄。
- 探索其他的自監(jiān)督學(xué)習(xí)算法郑口,我們還使用了帶有VIT-L和ResNet-50主干的MoCoV3在Mass-1K上進(jìn)行了訓(xùn)練,其性能不如DINOv2(補(bǔ)充表18)盾鳞。
- 為了隨著模型和數(shù)據(jù)規(guī)模的增加而擴(kuò)展性能犬性,選擇算法及其超參數(shù)對(duì)于開發(fā)CPath基礎(chǔ)模型同樣重要。
- 我們將使用在Mass-100K上預(yù)訓(xùn)練的ViT-L的UNI與在CPath中使用的公開可用預(yù)訓(xùn)練編碼器進(jìn)行比較腾仅,在OT-43和OT-108任務(wù)上的表現(xiàn):在ImageNet-1K上預(yù)訓(xùn)練的ResNet-50乒裆;在TCGA和PAIP上預(yù)訓(xùn)練的CTransPath;以及在TCGA上預(yù)訓(xùn)練的REMEDIS攒砖。
- 我們觀察到UNI在所有基線模型中大幅度勝出缸兔。
- 在OT-43上日裙,UNI實(shí)現(xiàn)了93.8%的前五名準(zhǔn)確率和0.976的AUROC,分別在這兩個(gè)指標(biāo)上比次優(yōu)模型(REMEDIS)高出+6.3%和+0.022(兩者P值均小于0.001)(圖2b和補(bǔ)充表12)惰蜜。
- 在OT-108上昂拂,我們也觀察到了類似的性能提升幅度,分別比REMEDIS高出了+10.8%和+0.020(P值小于0.001)(圖2c和補(bǔ)充表15)抛猖。
- 總體而言格侯,我們發(fā)現(xiàn)UNI能夠在OT-43和OT-108上對(duì)罕見癌癥進(jìn)行分類,并且在所有預(yù)訓(xùn)練編碼器之上實(shí)現(xiàn)了顯著的性能提升财著。
Weakly supervised slide classification
弱監(jiān)督幻燈片分類
- 此外联四,我們探究了UNI在15種多樣化的幻燈片級(jí)別分類任務(wù)中的能力,這些任務(wù)包括乳腺癌轉(zhuǎn)移檢測(cè)(CAMELYON16)撑教、前列腺癌中的國(guó)際泌尿病理學(xué)會(huì)(ISUP)分級(jí)(前列腺癌分級(jí)評(píng)估朝墩,PANDA)、心臟移植評(píng)估(內(nèi)部BWH幻燈片)伟姐、腦腫瘤亞型分類(EBRAINS收苏;代表由RARECARE項(xiàng)目定義的30種罕見癌癥),等等愤兵。
- 類似于OT-43和OT-108的評(píng)估鹿霸,我們使用ABMIL比較了從UNI預(yù)提取的特征與其他預(yù)訓(xùn)練編碼器的特征。
- 鑒于CTransPath和REMEDIS是在幾乎所有的TCGA幻燈片上進(jìn)行訓(xùn)練的秆乳,這些模型在TCGA任務(wù)上的報(bào)告性能可能會(huì)受到數(shù)據(jù)泄露的污染懦鼠,因此不公平地被夸大。
- 關(guān)于幻燈片任務(wù)屹堰、實(shí)驗(yàn)設(shè)置和性能的更多細(xì)節(jié)分別提供在方法部分肛冶、補(bǔ)充表19至21以及補(bǔ)充表22至35中。
- 在所有15項(xiàng)幻燈片級(jí)別的任務(wù)中双藕,UNI始終超越其他預(yù)訓(xùn)練編碼器(相對(duì)于ResNet-50平均性能提升26.4%淑趾,相較于CTransPath提升8.3%,對(duì)比REMEDIS提升10.0%)忧陪,在分類罕見癌癥類型或具有較高診斷復(fù)雜度的任務(wù)上觀察到更大的改進(jìn)(圖2f)扣泊。
- 在前列腺ISUP分級(jí)(PANDA)任務(wù)中,UNI實(shí)現(xiàn)了0.946的二次加權(quán)Cohen’s κ系數(shù)嘶摊,比下一個(gè)表現(xiàn)最佳的模型(REMEDIS)高出0.014(P小于0.05)(補(bǔ)充表29)延蟹。
- 在層級(jí)分類任務(wù)(也涉及罕見疾病類別)如膠質(zhì)瘤生物標(biāo)志物預(yù)測(cè)(2類IDH1突變預(yù)測(cè)和使用TCGA及EBRAINS進(jìn)行的5類組織分子亞型分類)、腦腫瘤亞型分類(使用EBRAINS進(jìn)行的12類粗粒度和30類細(xì)粒度腦腫瘤亞型分類)等方面叶堆,UNI的表現(xiàn)優(yōu)于下一個(gè)最佳模型(無論是CTransPath還是REMEDIS)阱飘,分別提升了2.0%(P等于0.076)、6.4%(P等于0.001)、19.6%(P小于0.001)和16.1%(P小于0.001)(補(bǔ)充表31至34)沥匈。
- 與OT-43和OT-108類似蔗喂,我們發(fā)現(xiàn)UNI在僅涉及罕見癌癥類型的腦腫瘤亞型評(píng)估任務(wù)中影響最大。
- 通過對(duì)比現(xiàn)有的排行榜高帖,我們發(fā)現(xiàn)使用UNI特征的ABMIL超越了許多復(fù)雜的MIL架構(gòu)缰儿。
- 在乳腺癌轉(zhuǎn)移檢測(cè)(CAMELYON16)上,使用UNI的ABMIL在這個(gè)任務(wù)上超越了所有最先進(jìn)的MIL方法(補(bǔ)充表36)散址,并且是在原始挑戰(zhàn)中少數(shù)幾個(gè)超越人類病理學(xué)家表現(xiàn)(AUROC為0.966)而沒有時(shí)間限制的MIL結(jié)果之一乖阵。
- 在諸如前列腺ISUP分級(jí)(PANDA)和細(xì)胞介導(dǎo)的異體移植排斥(BWH-EMB)等任務(wù)的詳細(xì)比較中,使用UNI的ABMIL超越了WholeSIGHT和CRANE等方法(補(bǔ)充表37和38)预麸。
- 盡管許多這些比較由于使用了帶有ImageNet遷移(ResNet-50IN)特征的ResNet-50而不完全等價(jià)瞪浸,但值得注意的是,他們提出的MIL架構(gòu)通常是專門為解決這些具有挑戰(zhàn)性的任務(wù)而設(shè)計(jì)和開發(fā)的吏祸。
- 我們的比較突顯了擁有更好預(yù)訓(xùn)練編碼器相較于MIL架構(gòu)的優(yōu)勢(shì)对蒲。
- 數(shù)據(jù)污染是在大量公共數(shù)據(jù)集上訓(xùn)練的基礎(chǔ)模型中的一個(gè)問題。
- 雖然標(biāo)簽可能不會(huì)在自監(jiān)督訓(xùn)練過程中明確泄露到模型中犁罩,但在評(píng)估測(cè)試集上預(yù)訓(xùn)練的模型可能會(huì)表現(xiàn)出樂觀偏見的性能齐蔽,這種情況在其他CPath研究中已經(jīng)觀察到。
- 我們還比較了UNI與CTransPath和REMEDIS在非小細(xì)胞肺癌(NSCLC)亞型分類床估、腎細(xì)胞癌(RCC)亞型分類、膠質(zhì)瘤IDH1突變預(yù)測(cè)以及膠質(zhì)瘤組織分子亞型分類等任務(wù)上的TCGA測(cè)試集的表現(xiàn)诱渤,觀察到領(lǐng)域內(nèi)與領(lǐng)域外表現(xiàn)比較時(shí)性能下降丐巫。
- 在NSCLC亞型分類中,REMEDIS在TCGA評(píng)估中優(yōu)于UNI(97.3%對(duì)94.7%)勺美,但在CPTAC(臨床蛋白組腫瘤分析聯(lián)盟)評(píng)估中表現(xiàn)較差(79.0%對(duì)96.3%)递胧。
- 在膠質(zhì)瘤IDH1突變預(yù)測(cè)中,CTransPath和REMEDIS在TCGA評(píng)估中優(yōu)于UNI(89.1%和81.9%對(duì)80.8%)赡茸,但在EBRAINS評(píng)估中表現(xiàn)較差(83.6%和79.2%對(duì)85.6%)缎脾。
- 我們強(qiáng)調(diào),數(shù)據(jù)污染僅存在于模型的應(yīng)用方式中占卧,而不是模型本身遗菠,這些模型已經(jīng)在獨(dú)立于TCGA的設(shè)置中顯示出良好的遷移能力。
- 鑒于許多CPath研究使用TCGA來研究各種癌癥類型华蜒,因此辙纬,在公共組織學(xué)數(shù)據(jù)集和基準(zhǔn)上開發(fā)病理學(xué)AI模型方面,UNI比CTransPath和REMEDIS更靈活
Label efficiency of few-shot slide classification
少量樣本幻燈片分類的標(biāo)簽效率
- 我們還在所有幻燈片級(jí)別的任務(wù)上對(duì)UNI進(jìn)行了少量樣本多實(shí)例學(xué)習(xí)評(píng)估叭喜。
- 少量樣本學(xué)習(xí)是一種評(píng)估方案贺拣,研究模型在新任務(wù)(C類)上的泛化能力,給定有限數(shù)量的示例(每類K個(gè)訓(xùn)練樣本,也稱為支持或鏡頭)譬涡。
- 對(duì)于所有預(yù)訓(xùn)練編碼器闪幽,我們使用K ∈ {1, 2, 4, 8, 16, 32}個(gè)每類訓(xùn)練樣本訓(xùn)練了一個(gè)ABMIL模型,其中K由于罕見疾病類別中的小樣本量而限制為32涡匀。
- 考慮到性能可能因每類選擇的K個(gè)樣本的不同而波動(dòng)盯腌,我們重復(fù)實(shí)驗(yàn)五次,每次隨機(jī)采樣C × K個(gè)訓(xùn)練樣本渊跋。
- 關(guān)于少量樣本多實(shí)例學(xué)習(xí)實(shí)驗(yàn)和性能的更多細(xì)節(jié)在方法部分和擴(kuò)展數(shù)據(jù)圖1中給出腊嗡。
- UNI通常在所有任務(wù)上勝過其他預(yù)訓(xùn)練編碼器,并具有更高的標(biāo)簽效率拾酝,特別是在罕見疾病分類方面(圖2g至j及擴(kuò)展數(shù)據(jù)圖1)燕少。
- 當(dāng)比較UNI與其他編碼器的4-shot性能(使用中位數(shù)性能)時(shí),其他表現(xiàn)次佳的編碼器每類需要多達(dá)八倍的訓(xùn)練樣本來達(dá)到與UNI相同的4-shot性能蒿囤。
- 在前列腺ISUP分級(jí)(PANDA)上客们,UNI在所有少量樣本設(shè)置下始終保持兩倍于其他編碼器的標(biāo)簽效率(圖2j)。
- 在諸如精細(xì)腦腫瘤亞型分類(EBRAINS)等具有挑戰(zhàn)性的罕見癌癥亞型分類任務(wù)上材诽,UNI的4-shot性能遠(yuǎn)超其他編碼器底挫,僅由REMEDIS的32-shot性能相當(dāng)(圖2i)。
- 總體而言脸侥,我們對(duì)切片分類任務(wù)的全面評(píng)估證明了UNI作為基礎(chǔ)模型的潛力建邓,該模型可用于篩查罕見和代表性不足疾病的組織病理學(xué)工作流程中。
Supervised ROI classification in linear classifiers
在線性分類器中的監(jiān)督區(qū)域感興趣分類
- 除了幻燈片級(jí)別的任務(wù)外睁枕,我們還評(píng)估了UNI在11種多樣化的ROI級(jí)別任務(wù)上的表現(xiàn)官边,這些任務(wù)包括結(jié)直腸組織和息肉分類(CRC-100K-NONORM98、HunCRC99外遇、UniToPatho100)注簿、前列腺腺癌(PRAD)組織分類(2022年自動(dòng)Gleason分級(jí)挑戰(zhàn)賽)、泛癌癥腫瘤-免疫淋巴細(xì)胞檢測(cè)(TCGA-TILS)跳仿、32類泛癌癥組織分類(TCGA統(tǒng)一腫瘤)等诡渴。
- 為了進(jìn)行評(píng)估和比較,我們?cè)诿總€(gè)編碼器預(yù)提取特征的基礎(chǔ)上執(zhí)行邏輯回歸和K近鄰(KNN)菲语,這是一種常見的做法妄辩,被稱為線性探測(cè)和KNN探測(cè),分別用于衡量判別性能和預(yù)提取特征的表示質(zhì)量谨究。
- 我們使用平衡準(zhǔn)確率來評(píng)估所有任務(wù)的表現(xiàn)恩袱,而對(duì)于PRAD組織分類則采用加權(quán)F1分?jǐn)?shù)。
- 關(guān)于ROI任務(wù)的更多細(xì)節(jié)胶哲、實(shí)驗(yàn)設(shè)置以及表現(xiàn)情況畔塔,請(qǐng)參見方法部分和補(bǔ)充表39至60。
- 在所有11項(xiàng)ROI級(jí)別的任務(wù)中,UNI在所有任務(wù)上幾乎都優(yōu)于所有基線模型澈吨,對(duì)于ResNet-50把敢、CTransPath和REMEDIS,在線性探查上的平均性能提升分別為+18.8%谅辣、+7.58%和+5.75%(圖3a)修赞。
- 在KNN探查上,UNI同樣優(yōu)于ResNet-50桑阶、CTransPath和REMEDIS柏副,平均性能提升分別為+15.6%、+8.6%和+9.4%蚣录。
- 我們發(fā)現(xiàn)割择,在具有挑戰(zhàn)性的任務(wù)上取得了更大的進(jìn)步,例如前列腺組織分類(按加權(quán)F1得分計(jì)算萎河,分別提高了+0.131荔泳、P小于0.001;+0.020虐杯、P小于0.001玛歌;+0.027、P小于0.001)以及食道癌亞型分類(分別提高了+25.3%擎椰、P小于0.001支子;+10.1%、P小于0.001达舒;+5.5%译荞、P小于0.001),與另外三種預(yù)訓(xùn)練編碼器相比休弃。
- 圖3b展示了UNI在前列腺癌分級(jí)預(yù)測(cè)中的表現(xiàn),其中使用預(yù)先提取的UNI特征訓(xùn)練的簡(jiǎn)單線性分類器可以達(dá)到與病理學(xué)家注釋的高度一致性(擴(kuò)展資料圖2)圈膏。
- 在32類泛癌癥組織分類任務(wù)中(其中32類中有19類是罕見癌癥)塔猾,UNI實(shí)現(xiàn)了最高的總體平衡準(zhǔn)確率和AUROC,分別為65.7%和0.975稽坤,相對(duì)于次優(yōu)模型(REMEDIS)分別高出+4.7%和+0.017(兩者P值均小于0.001)丈甸。
Fig. 3: ROI-level tasks.
- a, UNI 的監(jiān)督線性探針性能及其在 11 項(xiàng) ROI 級(jí)別分類任務(wù)中的比較。除 PRAD 組織分類采用加權(quán) F1 分?jǐn)?shù)外尿褪,所有結(jié)果均以平衡準(zhǔn)確度給出睦擂。虛線代表每個(gè)模型在所有任務(wù)上的平均性能。誤差棒表示 95% 的置信區(qū)間杖玲,中心對(duì)應(yīng)于上述指定的每個(gè)指標(biāo)計(jì)算出的值顿仇。所有任務(wù)的詳細(xì)結(jié)果見補(bǔ)充表 39 至 60。
- b, UNI 在 AGGC 中 PRAD 組織分類的 ROI 級(jí)別分類示例。左側(cè):WSI 上疊加的真實(shí) ROI 級(jí)別標(biāo)簽臼闻。右側(cè):預(yù)測(cè)的切片標(biāo)簽鸿吆。為了更好地可視化,ROI 被放大述呐,并在擴(kuò)展數(shù)據(jù)圖 2 中顯示了進(jìn)一步的比較惩淳。
- c, UNI 在 PRAD 組織分類(AGGC,n = 345,021 個(gè) ROI)上的 ROI 檢索性能乓搬。我們報(bào)告了 Recall@K 對(duì)于 K ∈ {1, 3, 5} 和平均召回率思犁,誤差棒代表 95% 的置信區(qū)間,中心對(duì)應(yīng)于每個(gè)指標(biāo)計(jì)算出的值进肯。
- d, UNI 在 BACH 中不同圖像分辨率下的 BRCA 亞型分類任務(wù)中的監(jiān)督 KNN 探針性能(n = 80 個(gè) ROI)激蹲。所有任務(wù)的檢索性能在擴(kuò)展數(shù)據(jù)圖 3 和補(bǔ)充表 63 至 68 中提供。
- e, UNI 在 BACH 中不同圖像分辨率下多頭自注意力(MHSA)熱圖可視化坷澡。每個(gè)彩色方塊代表由 UNI 編碼的 16 × 16 像素的切片面標(biāo)記托呕,熱圖顏色對(duì)應(yīng)該切片面標(biāo)記對(duì) UNI 最后一層全局 [CLS](即分類)標(biāo)記的注意力權(quán)重。頂部和底部分別是侵襲性和正常標(biāo)記圖像的可視化频敛,進(jìn)一步的可視化和解釋在擴(kuò)展數(shù)據(jù)圖 4 至 6 中提供项郊。比例尺:b, 真實(shí)情況和預(yù)測(cè),2 毫米斟赚;預(yù)測(cè)(1)和預(yù)測(cè)(2)着降,200 微米;插圖拗军,30 微米任洞;e, ROI 圖像,32 微米发侵;2242交掏,64 像素;4482刃鳄,128 像素盅弛;8962,256 像素叔锐;1,3442挪鹏,384 像素。
- 我們還將 UNI 的性能與官方排行榜上的表現(xiàn)進(jìn)行了比較愉烙。
- 對(duì)于腫瘤-免疫淋巴細(xì)胞檢測(cè)讨盒,與 ChampKit 基準(zhǔn)測(cè)試中表現(xiàn)最佳的模型相比季研,該模型報(bào)告的 AUROC 為 0.974害捕,假陰性率 (FNR) 為 0.246靶瘸,而 UNI 的 AUROC 達(dá)到 0.978,F(xiàn)NR 為 0.193(未進(jìn)行染色標(biāo)準(zhǔn)化)(補(bǔ)充表 61)怎囚。
- 對(duì)于乳腺癌轉(zhuǎn)移檢測(cè)(CAMELYON17-WILDS 排行榜)鲫构,與迄今為止的最佳模型相比巷屿,該模型在外域驗(yàn)證集和測(cè)試集上的準(zhǔn)確率分別為 95.2% 和 96.5%崇众,UNI 分別達(dá)到 97.4% 和 98.3%(補(bǔ)充表 62)。
- 我們注意到稿辙,這些比較中的許多模型都是通過從自然圖像(而非病理圖像)進(jìn)行遷移學(xué)習(xí)端到端微調(diào)的昆码。
- 盡管這些實(shí)驗(yàn)設(shè)置與 UNI 不完全相同,但這些比較突顯了 UNI 的通用性邻储,因?yàn)槭褂镁€性分類器直接評(píng)估的性能與采用端到端微調(diào)的最先進(jìn)技術(shù)相當(dāng)赋咽。
ROI retrieval
ROI檢索
- 除了利用UNI中的表示來構(gòu)建特定任務(wù)的分類器外,還可以將這些表示用于圖像檢索吨娜。
- 檢索類似于K近鄰算法(KNN)脓匿,我們?cè)u(píng)估查詢圖像能否有效地檢索出同一類別的其他圖像,鑒于視覺上相似的圖像在表示空間中應(yīng)該比視覺上不同的圖像更接近宦赠。
- 與KNN評(píng)估不同陪毡,我們考慮的是檢索準(zhǔn)確性,即Acc@K對(duì)于K屬于{1, 3, 5}的情況勾扭,如果正確標(biāo)記的圖像是檢索結(jié)果中的前K個(gè)之一毡琉,則認(rèn)為檢索成功;以及MVAcc@5妙色,它使用前5個(gè)檢索結(jié)果的多數(shù)投票桅滋。
- 我們?cè)诹鶄€(gè)ROI級(jí)別的任務(wù)(至少有5個(gè)類別的任務(wù))上評(píng)估組織學(xué)圖像檢索。
- 關(guān)于ROI檢索實(shí)驗(yàn)和性能的更多細(xì)節(jié)身辨,請(qǐng)參見方法部分丐谋、擴(kuò)展數(shù)據(jù)圖3以及補(bǔ)充表63至68。
- UNI 在所有任務(wù)上均優(yōu)于其他編碼器煌珊,展示了在多種設(shè)置下卓越的檢索性能号俐。
- 在前列腺腺癌組織分類(AGGC)任務(wù)上,UNI 分別在 Acc@1 和 MVAcc@5 上比表現(xiàn)次優(yōu)的編碼器(REMEDIS)高出 +4% 和 +3.3%(兩者 P 值均小于 0.001)(圖 2c)定庵。
- 在結(jié)直腸癌(CRC)組織分類任務(wù)(CRC-100K)上萧落,最佳編碼器之間的差距相對(duì)較小(與 REMEDIS 相比分別高出 +3.1%洗贰,P 值小于 0.001 和 +0.01%,P 值等于 0.188)陨倡,這可能是因?yàn)椴煌愋偷慕M織具有非常獨(dú)特的形態(tài)敛滋,如線性探測(cè)中的較高分類性能所示。
- 在更具挑戰(zhàn)性的包含許多罕見癌癥類型的 32 類泛癌癥組織分類任務(wù)上兴革,UNI 在 Acc@1 和 MVAcc@5 上分別比第二好的編碼器(REMEDIS)高出 +4.6% 和 +4.1%(兩者 P 值均小于 0.001)绎晃。
Robustness to high image resolution
對(duì)高分辨率圖像的魯棒性
- 雖然視覺識(shí)別模型通常使用調(diào)整大小為224×224像素(2242像素)的圖像進(jìn)行評(píng)估蜜唾,但圖像縮放會(huì)改變每像素微米數(shù)(mpp),這可能會(huì)影響形態(tài)特征(如細(xì)胞非典型性)的解釋庶艾。
- 我們研究了在不同分辨率下袁余,乳腺浸潤(rùn)性癌(BRCA)亞型分類(乳腺癌組織學(xué)圖像大挑戰(zhàn),BACH)(從2.88 mpp下的2242像素到0.48 mpp下的1,3442像素)以及CRC息肉分類(UniToPatho)(從3.60 mpp下的2242像素到0.45 mpp下的1,7922像素)時(shí)咱揍,UNI中的特征質(zhì)量如何受到影響颖榜,并采用線性和K近鄰(KNN)探查方法。
- 有關(guān)多分辨率實(shí)驗(yàn)和性能的更多細(xì)節(jié)煤裙,請(qǐng)參見方法部分掩完、擴(kuò)展數(shù)據(jù)圖4及補(bǔ)充表45、46硼砰、51和52且蓬。
- 我們?cè)趦身?xiàng)任務(wù)中展示了UNI對(duì)不同圖像分辨率的魯棒性,以及在高分辨率ROI任務(wù)中圖像縮放引入的偏置题翰。
- 當(dāng)我們調(diào)整用于評(píng)估的圖像分辨率時(shí)恶阴,我們觀察到其他編碼器的表現(xiàn)下降更為嚴(yán)重,例如在BRCA亞型分類中CTransPath和REMEDIS的KNN性能分別下降了18.8%和32.5%(2242像素與13442像素相比)豹障,而UNI僅下降了6.3%冯事。
- 在CRC息肉分類中,盡管其他編碼器沒有顯著的性能下降(2242像素與17922像素相比)沼填,但UNI通過KNN探針提高了5.1%桅咆。
- 圖2e和擴(kuò)展數(shù)據(jù)圖5及6展示了當(dāng)評(píng)估高分辨率圖像時(shí),UNI如何突出更精細(xì)的視覺特征坞笙。
- 在CRC息肉分類中岩饼,將圖像縮放到2242像素會(huì)掩蓋定位隱窩的重要細(xì)節(jié),而這些細(xì)節(jié)在高分辨率下能夠被UNI檢測(cè)到薛夜。
- 這些觀察表明籍茧,UNI可以編碼出與大多數(shù)圖像分辨率無關(guān)的語義有意義的表示,這對(duì)于已知在不同圖像放大倍數(shù)下最優(yōu)的CPath任務(wù)來說具有價(jià)值梯澜。
ROI cell type segmentation
ROI細(xì)胞類型分割
- 我們?cè)谧畲蟮墓睷OI級(jí)分割數(shù)據(jù)集SegPath102上評(píng)估UNI寞冯,該數(shù)據(jù)集用于腫瘤組織中八種主要細(xì)胞類型的分割:上皮細(xì)胞、平滑肌細(xì)胞晚伙、紅血球吮龄、內(nèi)皮細(xì)胞、白細(xì)胞咆疗、淋巴細(xì)胞漓帚、漿細(xì)胞和髓樣細(xì)胞。
- 所有預(yù)訓(xùn)練編碼器均使用Mask2Former103端到端微調(diào)午磁,這是一個(gè)通常用于評(píng)估預(yù)訓(xùn)練編碼器現(xiàn)成性能的靈活框架尝抖。
- 鑒于SegPath數(shù)據(jù)集將細(xì)胞類型劃分為獨(dú)立的密集預(yù)測(cè)任務(wù)(總共八個(gè)任務(wù))毡们,每個(gè)編碼器根據(jù)細(xì)胞類型單獨(dú)進(jìn)行微調(diào),以骰子系數(shù)作為主要評(píng)估指標(biāo)昧辽。
- 有關(guān)分割任務(wù)和性能的更多細(xì)節(jié)在方法部分和補(bǔ)充表69中提供衙熔。
- 盡管分層視覺主干網(wǎng)絡(luò)(如Swin變換器(CTransPath)和卷積神經(jīng)網(wǎng)絡(luò)(CNN;ResNet-50和REMEDIS))在分割任務(wù)上相比視覺變換器(UNI)具有眾所周知的優(yōu)勢(shì)搅荞,我們觀察到UNI在SegPath的大多數(shù)細(xì)胞類型上仍然超越所有比較對(duì)象红氯。
- 對(duì)于上皮細(xì)胞、平滑肌細(xì)胞和紅血球這三種細(xì)胞類型的單獨(dú)分割任務(wù)取具,UNI分別取得了0.827脖隶、0.690和0.803的Dice得分,分別比表現(xiàn)第二好的編碼器(REMEDIS)高出+0.003(P = 0.164)暇检、+0.016(P < 0.001)和+0.008(P = 0.001)产阱。
- 在SegPath中的所有八種細(xì)胞類型中,UNI實(shí)現(xiàn)了平均Dice得分為0.721的整體性能块仆,超過了ResNet-50(0.696)构蹬、CTransPath(0.695)和REMEDIS(0.716)。
- 擴(kuò)展資料圖7展示了通過UNI和其他編碼器對(duì)所有細(xì)胞類型的分割可視化悔据,所有比較方法都能很好地匹配真實(shí)分割結(jié)果庄敛。
- 總體而言,我們發(fā)現(xiàn)UNI可以在分割任務(wù)上超越最先進(jìn)的CNN和分層視覺模型科汗,進(jìn)一步擴(kuò)展了它在不那么常規(guī)環(huán)境中的多用途性藻烤。
Few-shot ROI classification with class prototypes
基于類原型的少量樣本區(qū)域感興趣分類
- 類似于幻燈片級(jí)別的分類,我們也評(píng)估了UNI在ROI級(jí)別任務(wù)上的標(biāo)簽效率头滔。
- 我們使用非參數(shù)SimpleShot框架評(píng)估所有預(yù)訓(xùn)練編碼器怖亭,該框架是在小樣本分類文獻(xiàn)中的一個(gè)強(qiáng)大的基線,它提出將每個(gè)類別的提取特征向量平均作為K=1最近鄰(或最近質(zhì)心)分類的支持實(shí)例坤检。
- 這些平均特征向量也可以視為"類別原型"兴猩,即一組單樣本示例,它們?cè)诒硎菊Z義信息(例如早歇,肺腺癌(LUAD)與肺鱗狀細(xì)胞癌(LUSC)的形態(tài))方面是獨(dú)特的倾芝。
- 在測(cè)試時(shí),通過歐幾里得距離將未見過的測(cè)試示例分配給最近的類別原型(圖4a)箭跳。
- 對(duì)于所有預(yù)訓(xùn)練編碼器晨另,我們使用SimpleShot評(píng)估它們預(yù)先提取的特征,其中K∈{1, 2, 4, 8, …, 256}每類訓(xùn)練樣本谱姓,對(duì)于大多數(shù)任務(wù)拯刁,實(shí)驗(yàn)重復(fù)1,000次,每次運(yùn)行隨機(jī)采樣C×K訓(xùn)練樣本逝段。
- 關(guān)于小樣本ROI實(shí)驗(yàn)和性能的更多細(xì)節(jié)垛玻,請(qǐng)參見方法部分和擴(kuò)展數(shù)據(jù)圖8。
Fig. 4: Few-shot ROI- and slide-level prototyping.
- 通過 SimpleShot 實(shí)現(xiàn)原型少量樣本區(qū)域感興趣(ROI)分類奶躯。通過平均同一類別ROI提取出的特征來構(gòu)建類別原型帚桩。對(duì)于測(cè)試ROI,SimpleShot將類別分配給與最相似的類別原型(最小歐幾里得距離)相同的預(yù)測(cè)ROI標(biāo)簽嘹黔。
- 通過 MI-SimpleShot 實(shí)現(xiàn)原型少量樣本幻燈片分類账嚎。使用預(yù)先計(jì)算的一組ROI級(jí)別的類別原型(具有與幻燈片相同的類別標(biāo)簽),MI-SimpleShot利用來自WSI中查詢到的前K個(gè)切片與類別原型之間最高平均相似度的類別原型來預(yù)測(cè)幻燈片標(biāo)簽儡蔓。相似性熱圖可視化了真實(shí)類別原型與WSI中的每個(gè)切片之間的相似性郭蕉。
- c至e,通過SimpleShot在三個(gè)任務(wù)上實(shí)現(xiàn)少量樣本ROI分類性能喂江,其中箱形圖表示模型性能的四分位數(shù)(n = 1,000次運(yùn)行)召锈,須觸線延伸至四分位距1.5倍內(nèi)的數(shù)據(jù)點(diǎn)。
- c获询,泛癌癥組織分類(TCGA涨岁,n = 55,360個(gè)ROI)。
- d吉嚣,結(jié)直腸癌息肉分類(UniToPatho梢薪,n = 2,399個(gè)ROI)。
- e尝哆,前列腺腺癌組織分類(AGGC秉撇,n = 345,021個(gè)ROI)。所有任務(wù)的少量樣本ROI性能均在補(bǔ)充數(shù)據(jù)圖8中提供秋泄。
- f和g琐馆,通過MI-SimpleShot實(shí)現(xiàn)少量樣本幻燈片分類性能和相似性熱圖,用于非小細(xì)胞肺癌(NSCLC)亞型分類(訓(xùn)練集印衔,TCGA啡捶;測(cè)試集,CPTAC奸焙;n = 1,091張幻燈片)(f)和腎細(xì)胞癌(RCC)亞型分類(訓(xùn)練集瞎暑,TCGA;測(cè)試集与帆,CPTAC-DHMC了赌;n = 872張幻燈片)(g)。在這兩個(gè)任務(wù)中玄糟,使用從UNI預(yù)提取的特征勿她,我們將MI-SimpleShot與ABMIL在相同的小樣本設(shè)置下進(jìn)行比較(箱形圖表示模型性能的四分位數(shù)值,n = 5次運(yùn)行阵翎,須觸線延伸至四分位距1.5倍內(nèi)的數(shù)據(jù)點(diǎn))逢并,并可視化相似性熱圖以及LUSC(f)和CCRCC(g)幻燈片中最相似的前5個(gè)切片(用紅色邊界框標(biāo)記)之剧。比例尺:WSI,2毫米砍聊;檢索到的前5個(gè)切片背稼,56微米。進(jìn)一步的細(xì)節(jié)玻蝌、比較和可視化在方法部分及補(bǔ)充數(shù)據(jù)圖8至10中提供蟹肘。
- 在各種任務(wù)和評(píng)估設(shè)置中,我們發(fā)現(xiàn) UNI 是一個(gè)強(qiáng)大的少量樣本學(xué)習(xí)者俯树,并且比其他預(yù)訓(xùn)練編碼器具有更高的標(biāo)簽效率帘腹。
- 當(dāng)比較 UNI 與其他編碼器在 8 個(gè)樣本情況下的中位性能時(shí),UNI 在許多任務(wù)上始終超過了下一個(gè)表現(xiàn)最佳的編碼器在 128 個(gè)樣本和 256 個(gè)樣本情況下的性能(圖 4c–e 和擴(kuò)展數(shù)據(jù)圖 8)许饿。
- 我們注意到所有編碼器在 1 個(gè)樣本和 2 個(gè)樣本情況下的性能方差可能很高阳欲,這是由于隨機(jī)選擇作為原型的感興趣區(qū)域(ROIs)的選擇,可能會(huì)受到 H&E 染色變化的影響米辐。
- 然而胸完,隨著支持示例數(shù)量的增加以形成類別原型,我們觀察到少量樣本性能運(yùn)行的方差呈單調(diào)下降(在 UNI 的 256 個(gè)樣本性能中翘贮,跨任務(wù)的標(biāo)準(zhǔn)偏差范圍為 0.32%-1.59%)赊窥,這表明了在 SimpleShot 中將訓(xùn)練示例平均化為類別原型時(shí)性能的穩(wěn)定性。
- 盡管如此狸页,我們觀察到 UNI 的最低少量樣本性能有時(shí)會(huì)超過其他編碼器在 1,000 次運(yùn)行中報(bào)告的最大少量樣本性能锨能。
- 在泛癌癥組織分類中,UNI 在 2 個(gè)樣本芍耘、8 個(gè)樣本和 32 個(gè)樣本評(píng)估中的最差性能運(yùn)行分別優(yōu)于 ResNet-50址遇、CTransPath 和 REMEDIS 的最佳可能運(yùn)行。
- 這些發(fā)現(xiàn)證明了 UNI 的優(yōu)越標(biāo)簽效率和表示質(zhì)量斋竞,因?yàn)閮H從少數(shù)幾個(gè)感興趣區(qū)域提取特征的平均值就可以創(chuàng)建有效的類別原型倔约。
Prompt-based slide classification using class prototypes
基于提示的幻燈片分類使用類別原型
- 雖然通過MIL的弱監(jiān)督學(xué)習(xí)已經(jīng)改變了幻燈片級(jí)別的分類,使得不再需要ROI注釋81坝初,但對(duì)于處理罕見和代表性不足疾病的臨床任務(wù)來說浸剩,訪問和整理組織切片收藏仍然可能存在障礙。
- 從觀察到UNI在檢索性能和少量樣本學(xué)習(xí)能力方面的強(qiáng)大表現(xiàn)鳄袍,我們重新審視了使用類別原型進(jìn)行少量樣本幻燈片分類的問題绢要。
- 類似于文本提示55,我們將SimpleShot中的類別原型也用作多數(shù)投票的"提示"拗小,對(duì)檢索出的前K個(gè)切片(前K池化)進(jìn)行投票重罪,我們將其稱為多重實(shí)例SimpleShot(MI-SimpleShot)(圖4b)。
- 我們?cè)谂c訓(xùn)練ABMIL模型相同的幾折上評(píng)估MI-SimpleShot在少量樣本幻燈片分類的表現(xiàn),使用的原型是利用泛癌組織分類任務(wù)68中標(biāo)注的ROI(來自訓(xùn)練幻燈片)創(chuàng)建的剿配。
- 我們也比較了MI-SimpleShot使用其他預(yù)訓(xùn)練編碼器的情況搅幅,以及作為UNI基線的MIL。
- 我們還開發(fā)了相似性熱圖呼胚,顯示了幻燈片中所有切片相對(duì)于真實(shí)標(biāo)簽類別的類原型的歸一化歐氏距離盏筐,病理學(xué)家標(biāo)注的匹配幻燈片標(biāo)簽的組織區(qū)域用藍(lán)色勾勒。
- 關(guān)于MI-SimpleShot實(shí)驗(yàn)和性能的更多細(xì)節(jié)在方法部分砸讳、擴(kuò)展數(shù)據(jù)圖9和10以及補(bǔ)充表70和71中提供。
- 我們僅使用每類別的少量標(biāo)注的ROI示例作為原型界牡,展示了將UNI與MI-SimpleShot結(jié)合應(yīng)用作為一種簡(jiǎn)單但高效的系統(tǒng)簿寂,在滑動(dòng)級(jí)別疾病亞型分類和檢測(cè)方面的潛力。
- 在NSCLC和RCC亞型分類(在TCGA上訓(xùn)練并在外部隊(duì)列上測(cè)試)中宿亡,使用前五池化的MI-SimpleShot在使用每類別1常遂、2和4張訓(xùn)練幻燈片創(chuàng)建原型時(shí),性能優(yōu)于ABMIL挽荠,并且在使用更多幻燈片時(shí)表現(xiàn)出與ABMIL相似的性能(圖4f,g)克胳。
- 通過相似性熱圖觀察到,UNI檢索出的幻燈片(對(duì)應(yīng)于幻燈片標(biāo)簽)與病理學(xué)家的注釋高度一致圈匆,如圖4f,g右側(cè)所示的LUSC和透明細(xì)胞腎細(xì)胞癌(CCRCC)幻燈片漠另。
- 我們認(rèn)為MI-SimpleShot的有效性可歸因于它不需要可訓(xùn)練參數(shù)(ABMIL模型可能仍然會(huì)在少量示例設(shè)置下過度擬合或欠擬合),以及UNI特征對(duì)于ROI檢索的強(qiáng)大表示質(zhì)量跃赚。
- 盡管可以使用其他預(yù)訓(xùn)練編碼器來學(xué)習(xí)MI-SimpleShot中的原型笆搓,但UNI可能對(duì)H&E染色變化不那么敏感。
- 這在RCC亞型分類的一次性性能的高標(biāo)準(zhǔn)偏差中得以體現(xiàn)(無論是ABMIL在擴(kuò)展數(shù)據(jù)圖1中還是一次性MI-SimpleShot在擴(kuò)展數(shù)據(jù)圖9中)纬傲,其中MI-SimpleShot僅使用一個(gè)站點(diǎn)來學(xué)習(xí)一個(gè)類別原型满败。
- 這一點(diǎn)也在乳腺轉(zhuǎn)移檢測(cè)(CAMELYON17-WILDS)的SimpleShot評(píng)估中得到強(qiáng)調(diào),因?yàn)镃TransPath和REMEDIS在兩個(gè)域外醫(yī)院測(cè)試隊(duì)列之間的性能差異比UNI更大(準(zhǔn)確率差異分別為12.3%和12.8%叹括,而UNI僅為5.1%)算墨,這暗示了H&E染色強(qiáng)度可能會(huì)影響檢索性能(補(bǔ)充表42)。
- 在擴(kuò)展數(shù)據(jù)圖10中汁雷,我們觀察到了預(yù)測(cè)標(biāo)簽與病理學(xué)家注釋不符的錯(cuò)誤檢索實(shí)例净嘀。
- 總體而言,我們通過MI-SimpleShot評(píng)估UNI的方式展示了視覺為中心的基礎(chǔ)模型憑借強(qiáng)大的檢索能力如何可能促進(jìn)解剖病理學(xué)的應(yīng)用摔竿。
Discussion
- 在這項(xiàng)研究中面粮,我們展示了UNI的多功能性,這是一個(gè)通用的继低、自監(jiān)督的模型熬苍,該模型在一個(gè)迄今為止病理學(xué)領(lǐng)域內(nèi)最大的組織切片集合上進(jìn)行了預(yù)訓(xùn)練。
- 我們整理了Mass-100K,一個(gè)預(yù)訓(xùn)練數(shù)據(jù)集柴底,包含超過1億個(gè)來自20種主要器官類型的組織切片婿脸,包括正常組織、癌變組織和其他病理類型柄驻。
- 利用DINOv2自監(jiān)督學(xué)習(xí)方法(已證明可以擴(kuò)展到大型數(shù)據(jù)集)狐树,我們開發(fā)并驗(yàn)證了一個(gè)ViT-L模型(在Mass-100K上預(yù)訓(xùn)練),該模型在各種任務(wù)中始終超越其他組織病理圖像編碼器鸿脓。
- 盡管根據(jù)任務(wù)不同抑钟,CTransPath和REMEDIS可能達(dá)到類似的性能,但我們的發(fā)現(xiàn)表明這些編碼器在檢索能力野哭、標(biāo)簽效率以及對(duì)H&E染色強(qiáng)度的潛在偏見方面存在局限性在塔,在域外評(píng)估中尤其如此。
- 作為可能在CPath中啟用多樣臨床應(yīng)用的視覺為中心的基礎(chǔ)模型拨黔,開發(fā)UNI時(shí)遇到了幾個(gè)挑戰(zhàn)蛔溃,特別是關(guān)于模型和數(shù)據(jù)擴(kuò)展等因素如何影響遷移性能的問題。
- 盡管許多經(jīng)驗(yàn)研究探討了這些組成部分以實(shí)現(xiàn)自然圖像的良好泛化篱蝇,但許多解決方案可能由于病理學(xué)圖像與自然圖像之間的差異而無法轉(zhuǎn)移贺待。
- 例如,雖然MoCoV3在ImageNet上相對(duì)于DINOv2的表現(xiàn)較低但仍具競(jìng)爭(zhēng)力零截,但在Mass-1K上開發(fā)ViT-L時(shí)采用相同的訓(xùn)練配置麸塞,在OT-108上的表現(xiàn)存在較大差距。
- 根據(jù)我們的研究瞻润,我們注意到最近出現(xiàn)了幾項(xiàng)在更大規(guī)模組織切片數(shù)據(jù)集上進(jìn)行訓(xùn)練的研究喘垂。
- 不同于先前和近期的工作,我們的研究獨(dú)特之處在于提供了關(guān)于CPath中自監(jiān)督模型的擴(kuò)展規(guī)律和遷移學(xué)習(xí)能力的獨(dú)特見解绍撞。
- 盡管模型和數(shù)據(jù)規(guī)模是構(gòu)建視覺為中心的自監(jiān)督學(xué)習(xí)的重要組成部分正勒,但我們發(fā)現(xiàn)自監(jiān)督學(xué)習(xí)(SSL)算法的選擇是最具影響力的因素,其中MoCoV3(基于Mass-1K的ViT-L)不僅遜于其DINOv2對(duì)應(yīng)版本傻铣,而且也遜于CTransPath和REMEDIS章贞。
- 增加模型規(guī)模(從ViT-B到ViT-L)和數(shù)據(jù)規(guī)模(Mass-1K和Mass-100K)確實(shí)反映了性能提升,但值得注意的是非洲,UNI的各種變體在OT-43和OT-108上的表現(xiàn)相對(duì)接近鸭限,并且相較于CTransPath和REMEDIS有一致的改進(jìn),這表明即使使用較小的模型和較少的數(shù)據(jù)也能開發(fā)出具有競(jìng)爭(zhēng)力的預(yù)訓(xùn)練編碼器两踏。
- 隨著UNI展示的眾多臨床應(yīng)用败京,我們相信對(duì)上述因素的測(cè)試將指導(dǎo)CPath從業(yè)者利用自己的內(nèi)部切片集合開發(fā)自己的基礎(chǔ)模型
- 關(guān)于UNI可以應(yīng)用于的廣泛臨床任務(wù),與其它編碼器相比梦染,我們發(fā)現(xiàn)UNI在分類罕見和代表性不足的疾病方面表現(xiàn)出色赡麦,例如OT-108基準(zhǔn)中的108種罕見癌癥類型中的90種朴皆,EBRAINS數(shù)字腫瘤圖譜中的30種罕見腦腫瘤診斷,以及來自TCGA的泛癌組織分類中的32種癌癥亞型中的19種泛粹。
- 在這些任務(wù)以及其他任務(wù)上涣达,UNI相較于表現(xiàn)次優(yōu)的編碼器(如REMEDIS或CTransPath)展現(xiàn)出了一致且顯著的性能提升食茎。
- 我們推測(cè)漱抓,UNI的表現(xiàn)歸因于預(yù)提取特征的強(qiáng)大表示質(zhì)量崩瓤,這一點(diǎn)在利用類別原型進(jìn)行的小樣本ROI和幻燈片分類中可見一斑。
- 在罕見癌癥類型在當(dāng)前幻燈片數(shù)據(jù)集中很少見且代表性不足的弱監(jiān)督范式下们衙,使用UNI的MI-SimpleShot表明钾怔,每類標(biāo)注四個(gè)幻燈片即可超越特定任務(wù)的MIL算法。
- 總體而言蒙挑,我們認(rèn)為UNI和其他正在開發(fā)的視覺為中心的基礎(chǔ)模型能夠在使能創(chuàng)造性的臨床應(yīng)用方面產(chǎn)生變革性影響蒂教,這些應(yīng)用通常需要數(shù)量級(jí)更多的數(shù)據(jù)才能實(shí)現(xiàn)
- 與公開排行榜上的模型相比,我們認(rèn)為UNI在CPath領(lǐng)域也標(biāo)志著從特定任務(wù)的模型開發(fā)向通用AI模型的重大轉(zhuǎn)變脆荷。
- 除了本研究中評(píng)估的34項(xiàng)臨床任務(wù)外,UNI在開箱即用的情況下與其他已發(fā)表作品的結(jié)果相比具有競(jìng)爭(zhēng)力懊悯,超越了通常采用端到端訓(xùn)練或使用精心設(shè)計(jì)的訓(xùn)練方法來解決這些特定公開挑戰(zhàn)的領(lǐng)先模型蜓谋。
- 總體而言,我們的發(fā)現(xiàn)突顯了擁有更好預(yù)訓(xùn)練編碼器的優(yōu)勢(shì)炭分,而不是開發(fā)針對(duì)狹窄臨床問題的特定任務(wù)模型桃焕,我們希望這將引導(dǎo)CPath領(lǐng)域的研究方向轉(zhuǎn)向開發(fā)更具有性能和靈活性、能夠針對(duì)病理學(xué)中多種臨床應(yīng)用的通用AI模型捧毛。
- 遵循計(jì)算機(jī)視覺領(lǐng)域自監(jiān)督模型的傳統(tǒng)命名規(guī)則观堂,諸如‘基礎(chǔ)模型’這樣的標(biāo)簽可能會(huì)產(chǎn)生誤導(dǎo)性的期望。
- 我們的研究有幾個(gè)局限性呀忧∈郏基于ViT-L架構(gòu),UNI缺乏解決CPath中的密集預(yù)測(cè)任務(wù)所需的具體視覺偏置而账,并且我們注意到胰坟,在SegPath中的細(xì)胞類型分割性能提升不如在其他任務(wù)中那么顯著。
- 我們預(yù)計(jì)隨著適用于分割任務(wù)的ViT架構(gòu)改進(jìn)方法的出現(xiàn)泞辐,將進(jìn)一步改善這一情況笔横。
- 我們的研究也沒有評(píng)估DINOv2中表現(xiàn)最佳的ViT-Giant架構(gòu),這是一個(gè)更大的模型咐吼,很可能在CPath中有很好的應(yīng)用吹缔,但對(duì)預(yù)訓(xùn)練所需的計(jì)算資源需求更高。
- 盡管據(jù)我們所知锯茄,我們的研究組織了最大的臨床任務(wù)集合來評(píng)估CPath中的預(yù)訓(xùn)練模型厢塘,但在我們的分析中并未包括細(xì)胞病理學(xué)或血液病理學(xué)等其他臨床任務(wù)。
- 由于我們的評(píng)估范圍廣泛以及某些任務(wù)驗(yàn)證集較小(或缺失)俗冻,超參數(shù)被固定下來礁叔,這遵循了CPath領(lǐng)域其他工作的方法。
- 進(jìn)一步的超參數(shù)調(diào)整和其他訓(xùn)練方法可能有助于進(jìn)一步提高結(jié)果迄薄;然而琅关,我們的評(píng)估協(xié)議旨在對(duì)預(yù)訓(xùn)練編碼器主干的表示質(zhì)量進(jìn)行排名。
- 在開發(fā)UNI的過程中讥蔽,雖然Mass-100K是有意開發(fā)以不與大多數(shù)公共組織學(xué)集合重疊涣易,但如果同一模型在多種應(yīng)用中重復(fù)使用,特別是如果它對(duì)不同人群產(chǎn)生不同的影響冶伞,則應(yīng)進(jìn)一步研究如數(shù)據(jù)污染和圖像采集變化等偏置新症。
- UNI是一個(gè)用于CPath的單模態(tài)模型,這意味著跨模態(tài)檢索和視覺問答等多模態(tài)能力不在當(dāng)前范圍內(nèi)响禽,這是我們并行工作中探索的內(nèi)容徒爹。
- 最后,UNI目前僅是CPath中的ROI級(jí)模型芋类,而病理學(xué)中的大多數(shù)臨床任務(wù)是在切片或患者級(jí)別執(zhí)行的隆嗅。
- 未來的工作將側(cè)重于利用UNI作為構(gòu)建塊來開發(fā)切片級(jí)別的自監(jiān)督模型以及解剖病理學(xué)中的通用切片級(jí)別病理AI開發(fā)。
Methods
ROI retrieval
ROI檢索
- 為了評(píng)估不同編碼器為組織病理學(xué)圖像的內(nèi)容基于圖像檢索產(chǎn)生的嵌入質(zhì)量侯繁,我們使用了區(qū)域級(jí)分類數(shù)據(jù)集胖喳,在這些數(shù)據(jù)集中,目標(biāo)是檢索與給定查詢圖像相似的圖像(即具有相同類別標(biāo)簽的圖像)贮竟。
- 對(duì)于每個(gè)基準(zhǔn)測(cè)試丽焊,我們首先使用預(yù)訓(xùn)練的編碼器將所有圖像嵌入到低維特征表示中。
- 我們將測(cè)試集中的每張圖像視為一個(gè)查詢咕别。
- 每個(gè)查詢圖像與來自區(qū)域級(jí)分類訓(xùn)練集的每張圖像進(jìn)行比較技健,該訓(xùn)練集作為候選圖像(鍵)的數(shù)據(jù)庫。
- 請(qǐng)注意惰拱,在這些實(shí)驗(yàn)中沒有進(jìn)行監(jiān)督學(xué)習(xí)凫乖,類別標(biāo)簽僅用于評(píng)估目的(即評(píng)估檢索出的圖像是否與查詢圖像共享相同的類別標(biāo)簽)。
- 我們首先通過從每個(gè)嵌入中減去它們的歐幾里得質(zhì)心來中心化候選圖像數(shù)據(jù)庫弓颈,然后對(duì)每個(gè)鍵進(jìn)行?2歸一化至單位長(zhǎng)度帽芽。
- 對(duì)于每個(gè)新的查詢,我們應(yīng)用相同的平移和歸一化步驟翔冀,然后通過?2距離度量將其與數(shù)據(jù)庫中的每個(gè)鍵進(jìn)行比較导街,其中較短的距離被解釋為更高的相似度。
- 檢索出的圖像按其相似度得分排序纤子,并使用它們對(duì)應(yīng)的類別標(biāo)簽來評(píng)估特定檢索的成功率搬瑰,使用Acc@K(對(duì)于K屬于1款票、3、5)和MVAcc@5來進(jìn)行評(píng)估泽论,這些指標(biāo)在評(píng)估指標(biāo)部分進(jìn)行了描述艾少。
ROI-level cell type segmentation
ROI級(jí)別的細(xì)胞類型分割
- 為了訓(xùn)練和評(píng)估ROI級(jí)別的細(xì)胞類型分割任務(wù),我們遵循先前的工作翼悴,采用Mask2Former缚够,這是一個(gè)靈活的框架,常用于評(píng)估預(yù)訓(xùn)練視覺編碼器的現(xiàn)成性能鹦赎。
- 對(duì)于非層次結(jié)構(gòu)的ViT架構(gòu)谍椅,我們還使用了ViT-Adapter框架與Mask2Former頭部一起。
- 對(duì)于ViT-Adapter和Mask2Former古话,我們使用ADE20k語義分割中相同的超參數(shù)雏吭。
- 具體來說,我們使用AdamW優(yōu)化器以及階梯式學(xué)習(xí)率調(diào)度陪踩。
- 初始學(xué)習(xí)率設(shè)置為0.0001杖们,并應(yīng)用了0.05的權(quán)重衰減。
- 為了針對(duì)骨干網(wǎng)絡(luò)特別調(diào)整學(xué)習(xí)率肩狂,我們應(yīng)用了一個(gè)0.1的學(xué)習(xí)率乘數(shù)胀莹。
- 此外,在總訓(xùn)練步數(shù)的0.9和0.95比例處婚温,我們將學(xué)習(xí)率衰減10倍。
- 對(duì)于所有骨干網(wǎng)絡(luò)媳否,我們用全模型進(jìn)行50個(gè)周期的微調(diào)栅螟,批次大小為16。
- 每5個(gè)周期在驗(yàn)證集上評(píng)估模型性能篱竭,并根據(jù)驗(yàn)證性能保存最佳模型以供測(cè)試力图。
- 為了增強(qiáng)數(shù)據(jù),我們使用大規(guī)模抖動(dòng)(LSJ)增強(qiáng)掺逼,隨機(jī)縮放范圍為0.5至2.0吃媒,然后固定尺寸裁剪到896×896像素,以適應(yīng)CTransPath的尺寸限制吕喘。
- 在推理階段赘那,我們將圖像尺寸調(diào)整為其最接近的224的倍數(shù)
Few-shot ROI classification and prototype learning
少量樣本的ROI分類與原型學(xué)習(xí)
- 對(duì)于少量樣本分類任務(wù),我們遵循先前的研究氯质,采用SimpleShot框架來評(píng)估自監(jiān)督模型原型表示的少量學(xué)習(xí)性能募舟。
- 原型(或稱原型)學(xué)習(xí)是少量樣本學(xué)習(xí)領(lǐng)域一個(gè)長(zhǎng)期存在的任務(wù),它也以多種形式出現(xiàn)在CPath中闻察。
- 與基于元學(xué)習(xí)的傳統(tǒng)少量樣本學(xué)習(xí)器不同拱礁,SimpleShot及相關(guān)工作表明琢锋,強(qiáng)大的特征表示結(jié)合特定變換和簡(jiǎn)單分類器可以在少量樣本任務(wù)上達(dá)到最先進(jìn)的性能。
- SimpleShot類似于最近鄰分類呢灶,在這種分類方法中吴超,訓(xùn)練集(在少量樣本學(xué)習(xí)文獻(xiàn)中稱為"支持集")從C類("方式")中抽取,每類有K個(gè)樣本("射擊數(shù)")鸯乃,用于預(yù)測(cè)測(cè)試集("查詢集")中的未見圖像鲸阻。
- 與最近鄰分類不同,SimpleShot采用基于ProtoNet的最近中心點(diǎn)法飒责,其中每類的平均特征向量(中心點(diǎn))用作原型"一射擊"示例赘娄,通過距離相似性對(duì)查詢集進(jìn)行標(biāo)記。
- 值得注意的是宏蛉,這些平均特征向量也可以視為"類別原型"遣臼,即一組獨(dú)特的單次示例,它們?cè)诖碚Z義信息(如LUAD與LUSC形態(tài)學(xué)的類別標(biāo)簽)方面具有獨(dú)特性拾并。
- 鑒于SimpleShot是少量樣本學(xué)習(xí)社區(qū)中簡(jiǎn)單而出人意料的強(qiáng)大基線揍堰,并且在評(píng)估自監(jiān)督模型時(shí)被廣泛使用,我們?cè)谠u(píng)估UNI及其在少量樣本ROI分類任務(wù)中的比較時(shí)采用了這一基線嗅义。
- 我們遵循SimpleShot的建議屏歹,建議在計(jì)算類別原型之前對(duì)支持集進(jìn)行居中處理(減去在支持集上計(jì)算的均值)和?2規(guī)范化,同時(shí)查詢集也在最近中心點(diǎn)分類之前進(jìn)行轉(zhuǎn)換(同樣使用支持集的均值進(jìn)行居中處理)
- 傳統(tǒng)的少量樣本學(xué)習(xí)方法在自然圖像分類任務(wù)上的評(píng)估是通過從訓(xùn)練集抽取10,000個(gè)C類之碗、K樣本的實(shí)例完成的蝙眶,每個(gè)類別包含15個(gè)查詢圖像作為測(cè)試集。
- 為了與線性和K近鄰探測(cè)中的指標(biāo)進(jìn)行等效比較褪那,我們改為抽取1,000個(gè)C類幽纷、K樣本的實(shí)例,但使用每個(gè)實(shí)例中的所有測(cè)試集圖像博敬。
- 由于ROI任務(wù)中可用的訓(xùn)練樣本數(shù)量相對(duì)較多友浸,超過了幻燈片任務(wù)中的數(shù)量,我們改變每類標(biāo)記樣本的數(shù)量偏窝,取值范圍為K ∈ {1, 2, 4, 8, 16, 32, …256}或給定類別中可獲得的最大標(biāo)記樣本數(shù)收恢。
- 為了與使用所有訓(xùn)練樣本的線性和K近鄰探測(cè)進(jìn)行比較,我們也通過計(jì)算每類的所有訓(xùn)練樣本平均值來評(píng)估SimpleShot方法祭往,我們?cè)谘a(bǔ)充表40至60中將其表示為‘1-NN’伦意。
Prompt-based slide classification using multiple instance SimpleShot
基于提示的幻燈片分類使用多實(shí)例SimpleShot
- 為了評(píng)估提取的表示作為幻燈片分類任務(wù)中的類別原型的質(zhì)量,我們將SimpleShot(如上所述)中的類別原型改編為‘提示’(類似于零樣本分類中對(duì)文本提示的使用)硼补,我們將其稱為MI-SimpleShot默赂。
- 正如主文中所述,我們使用了兩個(gè)幻燈片級(jí)別的數(shù)據(jù)集(非小細(xì)胞肺癌(NSCLC)和腎細(xì)胞癌(RCC)亞型數(shù)據(jù)集)括勺,它們具有與可用于支持集的數(shù)據(jù)集相匹配的ROI訓(xùn)練樣本缆八。
- 簡(jiǎn)而言之曲掰,我們使用來自TCGA統(tǒng)一腫瘤數(shù)據(jù)集的注釋LUAD和LUSC ROI進(jìn)行NSCLC亞型分類,并使用注釋的透明細(xì)胞腎細(xì)胞癌(CCRCC)奈辰、乳頭狀腎細(xì)胞癌(PRCC)和嫌色性腎細(xì)胞癌(CHRCC) ROI進(jìn)行RCC亞型分類栏妖。
- TCGA統(tǒng)一腫瘤數(shù)據(jù)集(在方法部分進(jìn)一步描述)包含32種癌癥類型的271,170個(gè)256×256像素的ROI,大約0.5微米/像素奖恰,這些ROI從8,736個(gè)H&E FFPE診斷組織病理學(xué)全切片圖像中注釋并提取吊趾。
- 我們注意到,在TCGA-LUAD瑟啃、-LUSC论泛、-CCRCC、-PRCC和-CHRCC隊(duì)列中蛹屿,每個(gè)幻燈片的注釋ROI數(shù)量范圍從10到70個(gè)樣本屁奏。
- 對(duì)于每個(gè)類別,我們首先使用預(yù)訓(xùn)練編碼器將支持集中的ROI嵌入低維特征表示错负,然后對(duì)類中的所有ROI特征進(jìn)行平均池化坟瓢。
- 平均池化的特征表示被視為類別原型,這些原型通過歸一化歐幾里得距離相似度用作標(biāo)記查詢集中每個(gè)幻燈片的前K個(gè)ROI的提示犹撒。
- 幻燈片級(jí)別的預(yù)測(cè)是通過對(duì)前K個(gè)ROI預(yù)測(cè)進(jìn)行多數(shù)投票得出的折联。
- 對(duì)于每個(gè)基準(zhǔn)測(cè)試,我們使用相同的五個(gè)折疊評(píng)估MI-SimpleShot识颊,這些折疊與訓(xùn)練好的ABMIL模型相同诚镰,采用每類{1, 2, 4, 8, 16, 32}個(gè)訓(xùn)練幻燈片,使用相同訓(xùn)練幻燈片中的注釋ROI創(chuàng)建原型祥款,評(píng)估包括top-5平均池化和top-50平均池化清笨。
- 我們注意到考慮每類別原型的top-5和top-50補(bǔ)丁的平均分?jǐn)?shù)時(shí)性能變化不大。
- 為了與使用所有帶有ROI注釋的訓(xùn)練幻燈片的性能進(jìn)行比較镰踏,我們還通過每類平均所有訓(xùn)練ROI特征表示來評(píng)估MI-SimpleShot,結(jié)果詳細(xì)記錄在補(bǔ)充表70和71中沙合。
- 為了創(chuàng)建相似性熱圖奠伪,我們可視化了幻燈片中所有補(bǔ)丁與真實(shí)類別原型之間的歸一化歐幾里得距離。
Evaluation metrics
評(píng)估指標(biāo)
- 我們報(bào)告了分類任務(wù)中的平衡準(zhǔn)確率首懈、加權(quán)F1分?jǐn)?shù)和AUROC绊率。
- 平衡準(zhǔn)確率是通過計(jì)算每個(gè)類別的召回率的未加權(quán)平均來得出的,這考慮到了評(píng)估集中類別的不平衡究履。
- 加權(quán)F1分?jǐn)?shù)是通過對(duì)每個(gè)類別的F1分?jǐn)?shù)(精確率和召回率的調(diào)和平均)按各自支持集的大小進(jìn)行加權(quán)平均來計(jì)算滤否。
- AUROC是根據(jù)不同的分類閾值繪制真正例率與假正例率曲線下的面積。
- 此外最仑,我們還計(jì)算了二次加權(quán)Cohen’s κ(例如藐俺,在兩個(gè)標(biāo)簽集之間的注釋者間的一致性炊甲,如實(shí)際標(biāo)簽和預(yù)測(cè)),我們對(duì)ISUP分級(jí)(PANDA)進(jìn)行了這項(xiàng)計(jì)算欲芹。
- 對(duì)于OT-43和OT-108卿啡,我們還計(jì)算了K ∈ {1, 3, 5}時(shí)的前K準(zhǔn)確率(對(duì)于給定的測(cè)試樣本,如果實(shí)際標(biāo)簽位于預(yù)測(cè)的前K個(gè)標(biāo)簽之中菱父,則認(rèn)為該樣本被正確評(píng)分)颈娜。
- 對(duì)于檢索任務(wù),我們考慮了K ∈ {1, 3, 5}時(shí)的Acc@K浙宜,這代表了檢索與查詢相同類別標(biāo)簽圖像的標(biāo)準(zhǔn)前K準(zhǔn)確率官辽。
- 具體而言,如果在前K個(gè)檢索出的圖像中有至少一張圖像與查詢具有相同的類別標(biāo)簽粟瞬,則認(rèn)為檢索成功同仆。
- 我們還報(bào)告了MVAcc@5,相比Acc@5亩钟,它更嚴(yán)格地要求前5個(gè)檢索出的圖像的多數(shù)投票必須與查詢屬于同一類別乓梨,才能認(rèn)為檢索成功。
- 對(duì)于分割任務(wù)清酥,我們報(bào)告了Dice分?jǐn)?shù)(定義與F1分?jǐn)?shù)相同)扶镀、精確率和召回率,這些指標(biāo)是在所有圖像和類別上進(jìn)行宏觀平均的
Statistical analysis
統(tǒng)計(jì)分析
- 對(duì)于所有半監(jiān)督和全監(jiān)督實(shí)驗(yàn)焰轻,我們使用1,000次自助法重復(fù)估計(jì)模型性能的95%置信區(qū)間臭觉。
- 為了統(tǒng)計(jì)顯著性,我們采用兩尾配對(duì)置換檢驗(yàn)與1,000次置換來評(píng)估兩種模型性能差異辱志。
- 對(duì)于所有小樣本設(shè)置蝠筑,我們報(bào)告的模型性能四分位數(shù)值使用箱形圖表示(n = 5次運(yùn)行),須觸線延伸至四分位間距1.5倍范圍內(nèi)的數(shù)據(jù)點(diǎn)揩懒。
- 對(duì)于ROI級(jí)別的小樣本分類什乙,對(duì)于每種C類、K樣本設(shè)置已球,我們隨機(jī)抽取每類C中的K個(gè)訓(xùn)練樣本臣镣,并進(jìn)行1,000次重復(fù)實(shí)驗(yàn)(稱為‘集’或‘運(yùn)行’),并在整個(gè)測(cè)試集上進(jìn)行評(píng)估智亮。
- 對(duì)于幻燈片級(jí)別的小樣本分類忆某,我們遵循相同的設(shè)置,但運(yùn)行次數(shù)限制為5次阔蛉,因?yàn)楹币娂膊☆悇e中的支持樣本數(shù)量較小弃舒。
Tasks, datasets and comparisons to leaderboard
任務(wù)、數(shù)據(jù)集以及與排行榜的比較
- 在本節(jié)中状原,我們概述了數(shù)據(jù)預(yù)處理聋呢、每類樣本數(shù)量苗踪、訓(xùn)練-驗(yàn)證-測(cè)試集劃分以及其他每個(gè)數(shù)據(jù)集的詳細(xì)信息(可能還包括多個(gè)任務(wù))。
- 在可能的情況下坝冕,我們還增加了對(duì)我們成果的背景介紹徒探,并與現(xiàn)有排行榜和其他研究的基線進(jìn)行了比較。
- 需要注意的是喂窟,由于超參數(shù)测暗、數(shù)據(jù)集劃分和預(yù)提取特征的差異(許多現(xiàn)有的基線可能沒有使用特定于組織病理學(xué)的預(yù)訓(xùn)練編碼器),這些比較并不總是等價(jià)的磨澡。
- 在與排行榜進(jìn)行對(duì)比以及進(jìn)行比較時(shí)碗啄,我們采用了公共評(píng)估中使用的指標(biāo),并在表格標(biāo)題中進(jìn)一步詳細(xì)說明了這些指標(biāo)稳摄。
OncoTree cancer classification based on in-house BWH data (43 cancer types, 108 OncoTree codes)
基于本院BWH數(shù)據(jù)的OncoTree癌癥分類(包含43種癌癥類型稚字,108個(gè)OncoTree編碼)
- 如主文中所述,OncoTree癌癥分類是一項(xiàng)大規(guī)模的層次化分類任務(wù)厦酬,該任務(wù)遵循OncoTree(OT)癌癥分類系統(tǒng)胆描。
- 該任務(wù)旨在評(píng)估預(yù)訓(xùn)練模型在分類多種疾病類別和組織類型方面的泛化能力。
- 利用我們自己的BWH幻燈片仗阅,我們定義了一個(gè)數(shù)據(jù)集昌讲,包含來自43種癌癥類型的5,564張全滑動(dòng)切片圖像(WSI),進(jìn)一步細(xì)分為108個(gè)OncoTree代碼减噪,每個(gè)OncoTree代碼至少有20張WSI短绸。
- 該數(shù)據(jù)集構(gòu)成了兩個(gè)任務(wù)的基礎(chǔ),這兩個(gè)任務(wù)在診斷難度上有所不同:43類癌癥類型分類(OT-43)和108類OncoTree代碼分類(OT-108)筹裕。
- 由于OT-108中的幾個(gè)OncoTree代碼的支持大小較小醋闭,所有ABMIL模型均采用訓(xùn)練-測(cè)試折疊方式進(jìn)行訓(xùn)練,并且沒有使用早期停止朝卒。
- 為了進(jìn)行訓(xùn)練和評(píng)估证逻,我們將數(shù)據(jù)集大約按標(biāo)簽進(jìn)行了分層,分為71:29的訓(xùn)練-測(cè)試折疊(比例為3,944:1,620張幻燈片)抗斤,OT-43和OT-108使用相同的折疊囚企,每種OncoTree代碼在測(cè)試集中使用15張幻燈片,在訓(xùn)練集中每種OncoTree代碼至少使用5張幻燈片豪治。
- 粗粒度和細(xì)粒度任務(wù)的層次化分類報(bào)告見補(bǔ)充表4洞拨。
- 除了膀胱尿路上皮癌(BLCA)扯罐、浸潤(rùn)性導(dǎo)管癌(IDC)负拟、浸潤(rùn)性小葉癌(ILC)、結(jié)腸腺癌(COAD)歹河、直腸腺癌(READ)掩浙、子宮內(nèi)膜樣癌(UEC)花吟、胃腺癌(STAD)、頭頸部鱗狀細(xì)胞癌(HNSC)厨姚、未另作規(guī)定的彌漫大B細(xì)胞淋巴瘤(DLBCLNOS)衅澈、黑色素瘤(MEL)、LUAD谬墙、LUSC今布、胰腺腺癌(PAAD)、前列腺腺癌(PRAD)拭抬、皮膚鱗狀細(xì)胞癌(CSCC)部默、小細(xì)胞肺癌(SCLC)、胃食管結(jié)合部腺癌(GEJ)和慢性淋巴細(xì)胞性白血病/小淋巴細(xì)胞性淋巴瘤(CLLSLL)造虎,這項(xiàng)任務(wù)中的癌癥類型是由RARECARE項(xiàng)目和國(guó)家癌癥研究所的監(jiān)測(cè)傅蹂、流行病學(xué)和最終結(jié)果(NCI-SEER)計(jì)劃指定的罕見癌癥。
- 我們注意到算凿,OT-43和OT-108訓(xùn)練折疊中的幻燈片被納入了OP-1K和OP-22K預(yù)訓(xùn)練中份蝴,而測(cè)試集則從這些預(yù)訓(xùn)練源中保留出來(遵循ImageNet的做法)
- 由于在所有預(yù)訓(xùn)練模型(包括中間檢查點(diǎn))中反復(fù)提取所有非重疊組織切片的特征存在存儲(chǔ)限制,我們?yōu)槊總€(gè)WSI抽取了200個(gè)代表性切片進(jìn)行特征提取氓轰。
- 為了選擇這些切片婚夫,我們首先提取了ResNet-50IN特征,然后進(jìn)行了聚類戒努,這種方法在其他工作中也有使用请敦,例如WSISA、DeepAttnMISL等储玫。
- 我們注意到這些工作受到了視覺詞袋(vBOW)的啟發(fā)侍筛,該方法已被適應(yīng)于病理學(xué)領(lǐng)域,通過將高分辨率的ROI和WSI聚類為較小但具有代表性的組織切片集合撒穷。
- 對(duì)于所有預(yù)訓(xùn)練編碼器匣椰,我們都從相同的抽樣切片集合中提取特征。
- 盡管為了獲得這些抽樣切片采取了額外的計(jì)算步驟端礼,但我們注意到這并不屬于傳導(dǎo)性推理禽笑,因?yàn)檎麄€(gè)測(cè)試集(所有WSI樣本)從未被任何學(xué)習(xí)組件所見(聚類是針對(duì)每個(gè)WSI進(jìn)行的,其中"樣本"是在玻片級(jí)別而非切片級(jí)別定義的)。
- 為了驗(yàn)證這種方法使用所有組織切片的特征具有可比性能惕味,我們將抽樣特征與UNI霜第、CTransPath、REMEDIS以及ResNet-50IN的全部特征的性能進(jìn)行了比較蟀伸,這些結(jié)果我們也報(bào)告在補(bǔ)充表12和15中。
- 我們觀察到使用抽樣特征時(shí)性能下降很小(最高下降-0.9%的top-1準(zhǔn)確率啊掏,AUROC下降-0.007)蠢络,并且許多模型的性能有所提高。
- 對(duì)于REMEDIS迟蜜,我們觀察到當(dāng)使用全部特征時(shí)ABMIL模型的性能崩潰刹孔,在OT-43和OT-108上的top-1準(zhǔn)確率分別為4.0%和11.8%(而使用抽樣特征時(shí)分別為59.3%和41.2%)。
- 我們推測(cè)這些性能提升是由于OT-43和OT-108的難度較大娜睛,切片抽樣減少了ABMIL輸入數(shù)據(jù)的復(fù)雜性(例如髓霞,不是在一個(gè)包含10,000多個(gè)切片的包中尋找診斷相關(guān)的特征,而是只考慮200個(gè)代表性切片)畦戒。
Breast metastasis detection based on CAMELYON16 (2 classes)
基于CAMELYON16的乳腺轉(zhuǎn)移檢測(cè)(2類)
- 2016年淋巴結(jié)癌癥轉(zhuǎn)移挑戰(zhàn)賽(CAMELYON16)中的乳腺轉(zhuǎn)移檢測(cè)任務(wù)包括來自Radboud大學(xué)醫(yī)學(xué)中心和烏得勒支大學(xué)醫(yī)學(xué)中心的400張哨兵淋巴結(jié)H&E FFPE組織病理學(xué)全切片圖像酸茴,用于轉(zhuǎn)移檢測(cè)。
- 我們從測(cè)試集中移除了一張標(biāo)記錯(cuò)誤的切片兢交,最終得到399張切片(239張正常薪捍,160張轉(zhuǎn)移)。
- 為了訓(xùn)練和評(píng)估配喳,我們使用了官方提供的訓(xùn)練-測(cè)試劃分酪穿,并將訓(xùn)練集按標(biāo)簽分層為90:10的訓(xùn)練-驗(yàn)證比例,從而得到61:7:32的訓(xùn)練-驗(yàn)證-測(cè)試比例(243:27:129張切片)晴裹。
- 除了內(nèi)部比較外被济,我們還與挑戰(zhàn)賽期間排行榜上的結(jié)果進(jìn)行了對(duì)比,提供了最近同行評(píng)審文獻(xiàn)中報(bào)告的最佳模型的時(shí)間線涧团,并在補(bǔ)充表36中增加了對(duì)尖端方法比較的背景信息只磷。
- 我們注意到,與UNI的比較可能并不等同泌绣,許多提出的方法使用了ResNet-50IN特征钮追,同時(shí)采用了更為復(fù)雜的MIL架構(gòu)。
NSCLC subtyping based on TCGA and CPTAC (LUAD versus LUSC, 2 classes)
基于TCGA和CPTAC的NSCLC亞型分類(LUAD與LUSC阿迈,2類)
- NSCLC亞型分類任務(wù)包括來源于TCGA和CPTAC的NSCLC H&E FFPE診斷組織病理學(xué)全掃描圖像元媚,用于分類兩種亞型:主要LUAD和LUSC病例。
- 為了質(zhì)量控制苗沧,在TCGA中刊棕,我們排除了缺少元數(shù)據(jù)或元數(shù)據(jù)不正確的幻燈片,最終得到1,041張幻燈片(529例LUAD和512例LUSC)待逞。
- 在CPTAC中甥角,我們排除了冷凍組織、非腫瘤組織或未標(biāo)記為可接受腫瘤段的幻燈片识樱,最終得到1,091張幻燈片(578例LUAD和513例LUSC)嗤无。
- 為了訓(xùn)練和評(píng)估屿笼,我們將TCGA-NSCLC隊(duì)列按標(biāo)簽分層為80:10:10的訓(xùn)練-驗(yàn)證-測(cè)試集(848:97:98張幻燈片),并使用保留的CPTAC隊(duì)列進(jìn)行外部評(píng)估翁巍。
RCC subtyping based on DHMC (CCRCC versus PRCC versus CHRCC versus ROCY versus Benign, 5 classes)
基于DHMC的RCC亞型分類(CCRCC與PRCC與CHRCC與ROCY與良性,共5類)
- RCC亞型分類任務(wù)包括來自達(dá)特茅斯-希區(qū)柯克醫(yī)學(xué)中心(DHMC)的563張RCC H&E FFPE診斷組織病理學(xué)全切片圖像(485張切除樣本和78張活檢樣本)休雌,用于分類五種亞型:主要透明細(xì)胞腎細(xì)胞癌(CCRCC灶壶,344張切片),乳頭狀腎細(xì)胞癌(PRCC杈曲,101張切片)和嫌色細(xì)胞腎細(xì)胞癌(CHRCC驰凛,23張切片),腎源性腫瘤(ROCY担扑,66張切片)以及良性病例(29張切片)恰响。
- 為了訓(xùn)練和評(píng)估這兩個(gè)任務(wù),我們使用了修改后的訓(xùn)練-驗(yàn)證-測(cè)試集配置比例為70:4:26(393:23:147張切片)涌献,由于訓(xùn)練集中沒有CHRCC樣本胚宦,我們將八個(gè)CHRCC病例從測(cè)試集移到了訓(xùn)練集中。
RCC subtyping based on TCGA, DHMC and CPTAC (CCRCC versus PRCC versus CHRCC, 3 classes)
基于TCGA燕垃、DHMC和CPTAC的RCC亞型分類(CCRCC與PRCC與CHRCC枢劝,共三類)
- RCC亞型分類任務(wù)包含了來自TCGA、DHMC和CPTAC的1,794份RCC的H&E FFPE診斷組織病理學(xué)WSI卜壕,用于分類三種亞型:主要CCRCC您旁、PRCC和CHRCC。
- 為了質(zhì)量控制轴捎,在TCGA中我們排除了缺少低分辨率下采樣的幻燈片鹤盒,這導(dǎo)致共有922張幻燈片(519例CCRCC、294例PRCC和109例CHRCC)侦副。
- 在DHMC數(shù)據(jù)集中侦锯,我們過濾掉了之前描述的DHMC-Kidney隊(duì)列中的腎上皮細(xì)胞瘤,這導(dǎo)致共有468張幻燈片(344例CCRCC秦驯、101例PRCC和23例CHRCC)率触。
- 在CPTAC中,我們排除了冷凍組織汇竭、非腫瘤組織或未標(biāo)記為可接受腫瘤片段的幻燈片葱蝗,這導(dǎo)致共有404張幻燈片(404例CCRCC)。
- 為了訓(xùn)練和評(píng)估细燎,我們將TCGA-NSCLC隊(duì)列按標(biāo)簽分層為80:10:10的訓(xùn)練-驗(yàn)證-測(cè)試集(736:89:97張幻燈片)两曼,并在保留的DHMC和CPTAC隊(duì)列上進(jìn)行外部評(píng)估。
- 鑒于CPTAC僅包含CCRCC病例玻驻,我們將DHMC和CPTAC合并為一個(gè)單一的評(píng)估隊(duì)列悼凑。
CRC screening based on HunCRC (4 classes)
基于HunCRC的CRC篩查(4類)
- CRC篩查任務(wù)包含來自Semmelweis大學(xué)的匈牙利CRC篩查(HunCRC)數(shù)據(jù)集中的200張結(jié)直腸活檢的H&E FFPE診斷組織病理學(xué)全掃描圖像偿枕。
- 在這個(gè)數(shù)據(jù)集中,我們定義了一個(gè)四分類粗粒度子類型任務(wù)户辫,使用了陰性(10張切片)渐夸、非腫瘤病變(38張切片)、CRC(46張切片)和腺瘤(106張切片)這幾類渔欢,其中真實(shí)標(biāo)簽由研究中的病理學(xué)家確定墓塌。
- 為了訓(xùn)練和評(píng)估,我們將HunCRC切片數(shù)據(jù)集按標(biāo)簽分層奥额,劃分為50:25:25的訓(xùn)練-驗(yàn)證-測(cè)試集(158:21:21張切片)苫幢。
BRCA coarse- and fine-grained subtyping based on BRACS (3 and 7 classes)
基于BRACS的BRCA粗粒度和細(xì)粒度亞型分類(3類和7類)
- BRCA 粗粒度和細(xì)粒度亞型任務(wù)包含來自 187 名患者的 547 張乳腺癌組織切片,這些切片來源于 Breast Carcinoma Subtyping (BRCA) 任務(wù)垫挨,該任務(wù)的數(shù)據(jù)來自 IRCCS 帕斯卡爾基金會(huì)韩肝、國(guó)家研究委員會(huì) (CNR) 的高性能計(jì)算與網(wǎng)絡(luò)研究所 (ICAR) 和 IBM 研究院-蘇黎世。
- 在這個(gè)數(shù)據(jù)集中九榔,我們定義了一個(gè)三分類粗粒度亞型任務(wù)哀峻,使用了‘良性腫瘤’、‘非典型腫瘤’和‘惡性腫瘤’標(biāo)簽哲泊。
- 此外谜诫,我們定義了一個(gè)七分類細(xì)粒度亞型任務(wù),將良性腫瘤細(xì)分為‘正彻サ’喻旷、‘病理學(xué)良性’、‘通常導(dǎo)管增生’牢屋,將非典型腫瘤細(xì)分為‘扁平上皮非典型性’和‘非典型導(dǎo)管增生’且预,將惡性腫瘤細(xì)分為‘導(dǎo)管原位癌’和‘浸潤(rùn)性癌’。
- 粗粒度和細(xì)粒度任務(wù)的層次分類報(bào)告見補(bǔ)充表 19烙无。
- 為了訓(xùn)練和評(píng)估這兩個(gè)任務(wù)锋谐,我們使用官方的訓(xùn)練-驗(yàn)證-測(cè)試數(shù)據(jù)集劃分,比例為 72:12:16(395:65:87 張切片)截酷,對(duì)于粗粒度和細(xì)粒度任務(wù)均使用相同的劃分涮拗。
Glioma IDH1 mutation prediction and histomolecular subtyping based on TCGA and EBRAINS (2 and 5 classes)
基于TCGA和EBRAINS的膠質(zhì)瘤IDH1突變預(yù)測(cè)及組織分子亞型分類(二分類和五分類)
- 膠質(zhì)瘤IDH1突變預(yù)測(cè)和組織分子亞型分類任務(wù)包括來自膠質(zhì)母細(xì)胞瘤、星形細(xì)胞瘤和少突膠質(zhì)細(xì)胞瘤病例的1,996張H&E FFPE診斷組織病理學(xué)WSI圖像迂苛,這些病例的分子狀態(tài)來自TCGA和EBRAINS數(shù)字腫瘤圖譜三热。
- 我們首先定義了一個(gè)五類膠質(zhì)瘤組織分子亞型分類任務(wù),包括以下標(biāo)簽:IDH1突變星形細(xì)胞瘤(257張切片)三幻,IDH1突變膠質(zhì)母細(xì)胞瘤(93張切片)就漾,IDH1突變且1p/19q共缺失的少突膠質(zhì)細(xì)胞瘤(408張切片),IDH1野生型膠質(zhì)母細(xì)胞瘤(1,094張切片)念搬,以及IDH1野生型星形細(xì)胞瘤(144張切片)抑堡。
- 此外摆出,我們定義了一個(gè)更簡(jiǎn)單的二分類任務(wù),僅預(yù)測(cè)IDH1狀態(tài):IDH1野生型(1,238張切片)和IDH1突變(756張切片)首妖。
- 這些任務(wù)中的所有腦腫瘤都被RARECARE項(xiàng)目和NCI-SEER計(jì)劃指定為罕見癌癥偎漫。
- 粗粒度和細(xì)粒度任務(wù)的層次分類報(bào)告見補(bǔ)充表21。
- 對(duì)于這兩個(gè)任務(wù)的訓(xùn)練和評(píng)估有缆,我們將TCGA-GBMLGG(TCGA膠質(zhì)母細(xì)胞瘤低級(jí)別膠質(zhì)瘤)數(shù)據(jù)集大致按標(biāo)簽分層劃分成訓(xùn)練-驗(yàn)證-測(cè)試集象踊,比例為47:22:31(525:243:355張切片),使用保留的EBRAINS隊(duì)列(873張切片)進(jìn)行外部評(píng)估妒貌,并且粗粒度和細(xì)粒度任務(wù)使用相同的劃分。
Brain tumor coarse- and fine-grained subtyping based on EBRAINS (12 and 30 classes)
基于EBRAINS的腦腫瘤粗粒度和細(xì)粒度亞型分類(12類和30類)
- 腦腫瘤粗粒度和細(xì)粒度亞型分類任務(wù)包含來自維也納大學(xué)的2,319張EBRAINS數(shù)字腫瘤圖譜中的H&E FFPE診斷組織病理學(xué)全掃描圖像铸豁。
- 原始數(shù)據(jù)集包含3,114張切片灌曙,我們定義了一個(gè)30類細(xì)粒度腦腫瘤亞型分類任務(wù),僅限于至少有30張切片的診斷標(biāo)簽:IDH1野生型膠質(zhì)母細(xì)胞瘤(474張切片)节芥、毛細(xì)胞星形細(xì)胞瘤(173張切片)在刺、腦膜上皮型腦膜瘤(104張切片)、垂體腺瘤(99張切片)头镊、IDH1突變型且1p/19q共缺失的惡性寡樹突膠質(zhì)瘤(91張切片)蚣驼、神經(jīng)節(jié)膠質(zhì)瘤(88張切片)、血管母細(xì)胞瘤(88張切片)相艇、牙釉質(zhì)樣顱咽管瘤(85張切片)颖杏、IDH1突變型且1p/19q共缺失的寡樹突膠質(zhì)瘤(85張切片)、非典型腦膜瘤(83張切片)坛芽、神經(jīng)鞘瘤(81張切片)留储、IDH1突變型彌漫性星形細(xì)胞瘤(70張切片)、過渡型腦膜瘤(68張切片)咙轩、中樞神經(jīng)系統(tǒng)彌漫性大B細(xì)胞淋巴瘤(59張切片)获讳、膠質(zhì)肉瘤(59張切片)、纖維型腦膜瘤(57張切片)活喊、惡性室管膜瘤(50張切片)丐膝、IDH1野生型惡性星形細(xì)胞瘤(47張切片)、轉(zhuǎn)移性腫瘤(47張切片)钾菊、DH1突變型惡性星形細(xì)胞瘤(47張切片)帅矗、室管膜瘤(46張切片)、惡性腦膜瘤(46張切片)煞烫、分泌型腦膜瘤(41張切片)损晤、脂肪瘤(38張切片)、血管周細(xì)胞瘤(34張切片)红竭、IDH1突變型膠質(zhì)母細(xì)胞瘤(34張切片)尤勋、非WNT/非SHH型髓母細(xì)胞瘤(32張切片)喘落、朗格漢斯細(xì)胞組織細(xì)胞增生癥(32張切片)、血管型腦膜瘤(31張切片)以及血管瘤(30張切片)最冰。
- 從這2,319張切片數(shù)據(jù)集中瘦棋,我們同樣定義了一個(gè)12類粗粒度腦腫瘤亞型分類任務(wù),將上述標(biāo)簽歸類為以下類別:成人型彌漫性膠質(zhì)瘤(837張切片)暖哨、腦膜瘤(430張切片)赌朋、中樞神經(jīng)系統(tǒng)非腦膜上皮間充質(zhì)腫瘤(190張切片)、鞍區(qū)腫瘤(184張切片)篇裁、局限性星形細(xì)胞膠質(zhì)瘤(173張切片)沛慢、室管膜腫瘤(96張切片)、中樞神經(jīng)系統(tǒng)血液淋巴腫瘤(91張切片)达布、神經(jīng)元和神經(jīng)膠質(zhì)神經(jīng)元腫瘤(88張切片)团甲、顱神經(jīng)和副脊神經(jīng)腫瘤(81張切片)、兒童型彌漫性低級(jí)別膠質(zhì)瘤(70張切片)黍聂、轉(zhuǎn)移性腫瘤(47張切片)以及胚胎型腫瘤(32張切片)躺苦。
- 這些任務(wù)中的所有腦腫瘤均被RARECARE項(xiàng)目和NCI-SEER計(jì)劃指定為罕見癌癥。
- 粗粒度和細(xì)粒度任務(wù)的層次分類報(bào)告見補(bǔ)充表20产还。
- 為了訓(xùn)練和評(píng)估這兩個(gè)任務(wù)匹厘,我們將數(shù)據(jù)集大約按標(biāo)簽分層劃分為訓(xùn)練-驗(yàn)證-測(cè)試集,比例為50:25:25(1,151:595:573張切片)脐区,對(duì)于粗粒度和細(xì)粒度任務(wù)使用相同的劃分愈诚。
Prostate ISUP grading based on PANDA (6 classes)
基于PANDA的前列腺ISUP分級(jí)(6個(gè)等級(jí))
- ISUP分級(jí)任務(wù)源自PANDA挑戰(zhàn)賽,該挑戰(zhàn)賽包含來自Radboud大學(xué)醫(yī)學(xué)中心和卡羅林斯卡研究所的10,616份前列腺癌穿刺活檢樣本牛隅。
- 每張幻燈片都被分配了一個(gè)ISUP評(píng)分扰路,用于定義前列腺癌的分級(jí)(6級(jí)分級(jí)任務(wù))。
- 為了質(zhì)量控制倔叼,我們遵循先前的工作汗唱,排除了錯(cuò)誤標(biāo)注的幻燈片(https://www.kaggle.com/competitions/prostate-cancer-grade-assessment/discussion/169230)或標(biāo)簽噪聲較大的幻燈片(https://www.kaggle.com/competitions/prostate-cancer-grade-assessment/discussion/169230),最終保留了9,555張幻燈片(2,603張G0丈攒,2,399張G1哩罪,1,209張G2,1,118張G3巡验,1,124張G4际插,1,102張G5)。
- 為了訓(xùn)練和評(píng)估显设,我們將PANDA按標(biāo)簽分層為80:10:10的訓(xùn)練-驗(yàn)證-測(cè)試集(7,647:954:954張幻燈片)框弛。
- 除了內(nèi)部比較之外,我們還使用與最近工作相同的公共多重實(shí)例學(xué)習(xí)基線劃分重新評(píng)估了我們的結(jié)果捕捂。
- 在與公共基線評(píng)估時(shí)瑟枫,我們采用了WholeSIGHT中也分別評(píng)估Karolinska和Radboud隊(duì)列的評(píng)估策略斗搞。
- 補(bǔ)充表30報(bào)告了UNI及其與公共劃分進(jìn)行的內(nèi)部比較的表現(xiàn)。
- 補(bǔ)充表37報(bào)告了我們與公共多重實(shí)例學(xué)習(xí)基線對(duì)比的結(jié)果慷妙。
- 此外僻焚,在這項(xiàng)任務(wù)中我們也提到了與CAMELYON描述中的相同保留意見,即由于使用ResNet-50IN特征膝擂,與公共多重實(shí)例學(xué)習(xí)表現(xiàn)的比較可能并不等價(jià)虑啤,但需要注意的是這些基線也采用了更為復(fù)雜的多重實(shí)例學(xué)習(xí)架構(gòu)。
Endomyocardial assessment based on in-house BWH data (2 classes)
基于本院BWH數(shù)據(jù)的心內(nèi)膜評(píng)估(2類)
- BWH-EMB 數(shù)據(jù)集包含來自 BWH 的 1,688 例內(nèi)部心內(nèi)膜活檢(EMB)的 5,021 張 H&E FFPE 組織病理學(xué)全滑片(WSI)架馋,用于細(xì)胞介導(dǎo)的同種異體移植物排斥反應(yīng)(ACR)的研究(2,444 例 ACR狞山,2,577 例其他病例)。
- 為了訓(xùn)練和評(píng)估叉寂,我們將數(shù)據(jù)集按案例和標(biāo)簽分層劃分為訓(xùn)練-驗(yàn)證-測(cè)試集(3,547:484:900 張幻燈片萍启,1,192:164:332 名患者),并在患者層面進(jìn)行評(píng)估办绝。
- 除了內(nèi)部比較之外伊约,我們還與 CRANE 的結(jié)果進(jìn)行了比較(它們使用相同的劃分)(擴(kuò)展數(shù)據(jù)圖 8)姚淆。
- 我們還注意到在這項(xiàng)任務(wù)中的 CAMELYON 描述中存在的同樣警告孕蝉,即與 UNI 的比較可能不等價(jià),因?yàn)?CRANE 使用了 ResNet-50IN 特征腌逢,但需指出的是降淮,這一基準(zhǔn)也使用了多任務(wù)學(xué)習(xí)與其他臨床終點(diǎn)來評(píng)估 EMB。
CRC tissue classification based on CRC-100K (9 classes)
基于CRC-100K的結(jié)直腸癌組織分類(9類)
- CRC組織分類任務(wù)基于CRC-100K數(shù)據(jù)集搏讶,該數(shù)據(jù)集包含136個(gè)來自國(guó)家腫瘤疾病中心(NCT)生物樣本庫和曼海姆大學(xué)醫(yī)學(xué)中心(UMM)病理檔案中的結(jié)直腸腺癌樣本的107,180個(gè)224×224像素的感興趣區(qū)域(ROIs)佳鳖,分辨率為0.5微米每像素。
- 這些ROIs被標(biāo)記為以下9類:脂肪(11,745個(gè)ROIs)媒惕、背景(11,413個(gè)ROIs)系吩、細(xì)胞碎片(11,851個(gè)ROIs)、淋巴細(xì)胞(12,191個(gè)ROIs)妒蔚、黏液(9,931個(gè)ROIs)穿挨、平滑肌(14,128個(gè)ROIs)肴盏、正常結(jié)腸黏膜(9,504個(gè)ROIs)科盛、與癌癥相關(guān)的間質(zhì)(10,867個(gè)ROIs)和結(jié)直腸腺癌上皮(15,550個(gè)ROIs)。
- 我們使用官方的病例分層訓(xùn)練-測(cè)試集(100,000:7,180個(gè)ROIs)進(jìn)行訓(xùn)練和評(píng)估菜皂,其中訓(xùn)練集由NCT生物樣本庫和UMM病理檔案中的100,000個(gè)ROIs(86個(gè)全滑片圖像WSIs)構(gòu)成(稱為‘NCT-CRC-HE-100K’)贞绵,而測(cè)試集由NCT生物樣本庫中的7,180個(gè)ROIs(50個(gè)WSIs)構(gòu)成(稱為‘CRC-VAL-HE-7K’)。
- 此外恍飘,我們還使用了未經(jīng)染色標(biāo)準(zhǔn)化處理的NCT-CRC-HE-100K版本榨崩。
- 我們對(duì)線性探針谴垫、K近鄰算法(KNN)和SimpleShot評(píng)估使用相同的訓(xùn)練集和測(cè)試集。
- 我們?cè)?.5微米每像素分辨率下蜡饵,對(duì)224×224像素的ROIs上的這個(gè)數(shù)據(jù)集進(jìn)行了評(píng)估弹渔。
Breast metastasis detection based on CAMELYON17-WILDS (2 classes)
基于CAMELYON17-WILDS的乳腺轉(zhuǎn)移檢測(cè)(2類)
- 乳腺轉(zhuǎn)移檢測(cè)任務(wù)基于CAMELYON17數(shù)據(jù)集的基于圖像塊的變體(稱為PatchCAMELYON或‘PCAM’),該數(shù)據(jù)集由WILDS創(chuàng)建用于測(cè)試模型在分布變化下的魯棒性溯祸。
- 該數(shù)據(jù)集包含417,894個(gè)96×96像素的組織病理學(xué)感興趣區(qū)域(ROIs)肢专,放大率約為0.92至1.00微米/像素,這些區(qū)域從淋巴結(jié)中的乳腺癌轉(zhuǎn)移全滑片圖像(WSIs)中提取焦辅,來源于CAMELYON17挑戰(zhàn)賽博杖。
- ROI標(biāo)簽表示該圖像塊是否包含腫瘤。
- 我們使用了WILDS提供的官方訓(xùn)練-驗(yàn)證-測(cè)試劃分來進(jìn)行訓(xùn)練和評(píng)估筷登。
- 訓(xùn)練集包含來自三家醫(yī)院的302,436個(gè)圖像塊剃根,模型在兩個(gè)不同分布的數(shù)據(jù)集上進(jìn)行評(píng)估,這兩個(gè)數(shù)據(jù)集分別包含34,904個(gè)圖像塊(ValOD)和80,554個(gè)圖像塊(TestOD)前方,這些圖像塊來自另外兩家醫(yī)院狈醉。
- 為了與CTransPath進(jìn)行等效比較,我們將所有圖像雙線性上采樣到224×224像素惠险。
- 除了內(nèi)部比較之外苗傅,我們還與WILDS基準(zhǔn)測(cè)試的公共排行榜上的結(jié)果進(jìn)行了比較(https://wilds.stanford.edu/leaderboard/),我們?cè)谘a(bǔ)充表62中報(bào)告了這些結(jié)果班巩。
- 域內(nèi)驗(yàn)證劃分沒有與訓(xùn)練集合并渣慕,也沒有用于超參數(shù)調(diào)整。
- 我們注意到抱慌,與公開結(jié)果的比較可能與我們的評(píng)估不完全等同逊桦,因?yàn)樵S多方法是通過自然圖像的遷移學(xué)習(xí)端到端微調(diào)的(而不是來自病理圖像)
CRC tissue classification based on HunCRC (9 classes)
基于HunCRC的CRC組織分類(9個(gè)類別)
- CRC組織分類任務(wù)基于HunCRC數(shù)據(jù)集,該數(shù)據(jù)集包含101,398個(gè)從結(jié)直腸活檢診斷組織病理學(xué)WSI中注釋和提取的512×512像素的ROI抑进,分辨率0.48 mpp强经,這些WSI也在滑動(dòng)級(jí)別任務(wù)中有所描述。
- 這些ROI被分為以下九類:腺癌(4,315個(gè)ROI)寺渗、高度異型增生(2,281個(gè)ROI)匿情、低度異型增生(55,787個(gè)ROI)、炎癥(763個(gè)ROI)户秤、腫瘤壞死(365個(gè)ROI)码秉、疑似侵襲(570個(gè)ROI)、切除邊緣(534個(gè)ROI)鸡号、技術(shù)性偽影(3,470個(gè)ROI)以及正常組織(31,323個(gè)ROI)转砖。
- 為了訓(xùn)練和評(píng)估,我們將數(shù)據(jù)集按病例分層,并大致按標(biāo)簽分層府蔗,分為訓(xùn)練-測(cè)試集(151:49個(gè)樣本晋控,76,753:22,655個(gè)ROI),用于線性探針姓赤、KNN和SimpleShot評(píng)估赡译。
- 我們?cè)谶@個(gè)數(shù)據(jù)集上對(duì)調(diào)整大小至448×448像素的ROI進(jìn)行了評(píng)估,分辨率設(shè)為0.55 mpp不铆。
BRCA subtyping based on BACH (4 classes)
基于BACH的BRCA亞型分類(4類)
- BRCA亞型分類任務(wù)基于乳腺癌亞型分類(BACH)數(shù)據(jù)集蝌焚,該數(shù)據(jù)集包含400個(gè)2048×1536像素的感興趣區(qū)域(ROIs),這些區(qū)域以每毫米0.42像素(mpp)的分辨率從國(guó)際圖像分析與識(shí)別會(huì)議(ICIAR)2018年乳腺癌組織學(xué)圖像大賽中的H&E固定的組織病理學(xué)全滑片圖像(WSIs)中注釋并提取誓斥。
- 這些ROIs被分為以下四類:正常(100個(gè)ROIs)只洒、良性(100個(gè)ROIs)、原位癌(100個(gè)ROIs)和浸潤(rùn)性癌(100個(gè)ROIs)劳坑。
- 為了訓(xùn)練和評(píng)估毕谴,我們將數(shù)據(jù)集按標(biāo)簽分層劃分為訓(xùn)練-測(cè)試集(320:80個(gè)ROIs),用于線性探針距芬、K近鄰(KNN)和SimpleShot評(píng)估涝开。
- 此外,我們?cè)谝韵轮行牟眉艉驼{(diào)整大小的圖像分辨率上評(píng)估了該數(shù)據(jù)集:224×224像素時(shí)每毫米2.88像素框仔,448×448像素時(shí)每毫米1.44像素舀武,896×896像素時(shí)每毫米0.72像素,以及1344×1344像素時(shí)每毫米0.48像素存和。
CCRCC tissue classification based on TCGA and HEL (3 classes)
基于TCGA和HEL的CCRCC組織分類(3類)
- CCRCC組織分類任務(wù)包含52,713個(gè)256×256像素和300×300像素的感興趣區(qū)域(ROIs)奕剃,大約每毫米0.25的分辨率衷旅,這些區(qū)域從TCGA中的502個(gè)樣本和赫爾辛基大學(xué)醫(yī)院(HEL)的64個(gè)樣本的CCRCC診斷組織病理學(xué)全滑片圖像(WSIs)中標(biāo)注并提取捐腿。
- 這些ROI被標(biāo)記為以下六類:癌癥(13,057個(gè)ROI)、正常(8,652個(gè)ROI)柿顶、間質(zhì)(5,460個(gè)ROI)茄袖、紅細(xì)胞(996個(gè)ROI)、空背景(16,026個(gè)ROI)和其他紋理(8,522個(gè)ROI)嘁锯。
- 對(duì)于這項(xiàng)任務(wù)宪祥,我們僅考慮了癌癥、正常和間質(zhì)標(biāo)簽家乘,這是因?yàn)榘磾?shù)據(jù)源分層時(shí)存在標(biāo)簽不平衡問題蝗羊,以及‘其他’類別中的模糊性。
- 我們使用來自TCGA的ROI(21,095個(gè)ROI)和HEL的ROI(6,074個(gè)ROI)作為訓(xùn)練隊(duì)列和測(cè)試隊(duì)列(訓(xùn)練-測(cè)試折分比例為21,095:6,074)仁锯,用于線性探針耀找、KNN和SimpleShot評(píng)估。
- 我們?cè)诖蠹s每毫米0.29的分辨率下,對(duì)調(diào)整大小后的224×224像素的ROI進(jìn)行該數(shù)據(jù)集的評(píng)估野芒。
PRAD tissue classification based on AGGC (5 classes)
基于AGGC的PRAD組織分類(5個(gè)類別)
- 前列腺腺癌(PRAD)組織分類任務(wù)基于2022年新加坡國(guó)立大學(xué)醫(yī)院與新加坡科技研究局(A*STAR)合作舉辦的自動(dòng)Gleason分級(jí)挑戰(zhàn)賽(AGGC)蓄愁。
- 該任務(wù)包含203個(gè)來自根治性前列腺切除術(shù)(105個(gè)用于訓(xùn)練,45個(gè)用于測(cè)試)和活檢(37個(gè)用于訓(xùn)練狞悲,16個(gè)用于測(cè)試)的全滑片圖像(WSI)撮抓,使用Akoya Biosciences掃描儀以20倍放大率和0.5微米/像素(mpp)分辨率進(jìn)行數(shù)字化。
- 每張幻燈片包括部分像素級(jí)注釋摇锋,用以界定不同的Gleason模式和間質(zhì)區(qū)域丹拯。
- 從原始的WSI和注釋中,我們構(gòu)建了一個(gè)包含1,125,640個(gè)不重疊的256×256像素大小的感興趣區(qū)域(ROI)的數(shù)據(jù)集(訓(xùn)練-測(cè)試集比例為780,619:345,021)荸恕,用于線性探針咽笼、K近鄰(KNN)和SimpleShot評(píng)估。
- 具有多個(gè)Gleason模式的ROI被分配了最嚴(yán)重的等級(jí)戚炫。
- 我們?cè)诩s0.57 mpp的分辨率下對(duì)調(diào)整大小后的224×224像素的ROI進(jìn)行了該數(shù)據(jù)集上的評(píng)估剑刑。
ESCA tissue classification based on UKK, WNS, TCGA and CHA (11 classes)
基于UKK炼绘、WNS充尉、TCGA和CHA的ESCA組織分類(11個(gè)類別)
- 食管癌(ESCA)組織分類任務(wù)包含來自四個(gè)來源的320張食管腺癌和食管胃交界處腺癌的H&E染色FFPE診斷組織病理學(xué)全切片圖像中的367,229個(gè)256×256像素的感興趣區(qū)域(ROI)寒亥,分辨率為0.78微米/像素隔盛。這些來源包括科隆大學(xué)醫(yī)院(UKK笆包,22張切片)熟嫩、維也納新城地區(qū)醫(yī)院(WNS片习,62張切片)照卦、癌癥基因組圖譜(TCGA蔑赘,22張切片)以及柏林夏里特大學(xué)醫(yī)院(CHA狸驳,214張切片)。
- 這些ROI被標(biāo)記為以下11類:外膜(71,131個(gè)ROI)缩赛、黏膜下層(2,173個(gè)ROI)耙箍、黏膜肌層(2,951個(gè)ROI)、固有肌層(83,358個(gè)ROI)酥馍、退變組織(56,490個(gè)ROI)辩昆、胃黏膜(44,416個(gè)ROI)、食管黏膜(18,561個(gè)ROI)旨袒、黏膜下層(22,117個(gè)ROI)汁针、黏膜下腺體(1,516個(gè)ROI)、腫瘤(63,863個(gè)ROI)以及潰瘍(753個(gè)ROI)砚尽。
- 為了訓(xùn)練和評(píng)估施无,我們將UKK、WNS和TCGA合并為一個(gè)訓(xùn)練隊(duì)列(189,142個(gè)ROI)必孤,并將CHA用作測(cè)試隊(duì)列(178,187個(gè)ROI)猾骡,訓(xùn)練-測(cè)試比例為51:49。我們隨后使用這一數(shù)據(jù)集進(jìn)行線性探針、K近鄰(KNN)及SimpleShot評(píng)估卓练。
- 我們?cè)诖蠹s0.89微米/像素分辨率下的224×224像素重采樣ROI上對(duì)這個(gè)數(shù)據(jù)集進(jìn)行了評(píng)估隘蝎。
CRC polyp classification based on UniToPatho (6 classes)
基于UniToPatho的CRC息肉分類(6類)
- CRC息肉分類任務(wù)基于UniToPatho數(shù)據(jù)集,該數(shù)據(jù)集包含9,536個(gè)1,812×1,812像素的感興趣區(qū)域(ROIs)襟企,分辨率0.44微米/像素嘱么,這些區(qū)域是從都靈大學(xué)提供的292張結(jié)直腸息肉樣本的蘇木精和伊紅染色(H&E)固定組織切片(FFPE)診斷病理學(xué)全滑動(dòng)掃描圖像(WSIs)中標(biāo)注并提取出來的。
- 這些感興趣區(qū)域被標(biāo)記為以下六類:正常(950個(gè)ROI)顽悼、增生性息肉(545個(gè)ROI)曼振、高度異型的管狀腺瘤(454個(gè)ROI)、低度異型的管狀腺瘤(3,618個(gè)ROI)蔚龙、高度異型的管狀絨毛狀腺瘤(916個(gè)ROI)以及低度異型的管狀絨毛狀腺瘤(2,186個(gè)ROI)冰评。
- 我們使用官方提供的訓(xùn)練-測(cè)試數(shù)據(jù)集劃分(6,270個(gè):2,399個(gè)ROI)進(jìn)行訓(xùn)練和評(píng)估。
- 我們對(duì)不同尺寸的圖像分辨率進(jìn)行了評(píng)估:224×224像素木羹,分辨率為3.60微米/像素甲雅;448×448像素,分辨率為1.80微米/像素坑填;896×896像素抛人,分辨率為0.90微米/像素;以及1,792×1,792像素脐瑰,分辨率為0.45微米/像素妖枚。
CRC MSI screening based on TCGA CRC-MSI (2 classes)
基于TCGA CRC-MSI的CRC MSI篩查(2類)
- CRC微衛(wèi)星不穩(wěn)定性(MSI)預(yù)測(cè)任務(wù)基于TCGA的CRC-MSI數(shù)據(jù)集,該數(shù)據(jù)集包含51,918個(gè)512×512像素的感興趣區(qū)域(ROI)苍在,大約為0.5微米每像素(mpp)绝页,這些區(qū)域是從結(jié)直腸腺癌樣本的H&E固定組織病理學(xué)全滑切片(WSI)中提取,并從TCGA標(biāo)注和提取寂恬,同時(shí)使用Macenko標(biāo)準(zhǔn)化進(jìn)行了預(yù)標(biāo)準(zhǔn)化续誉。
- 根據(jù)樣本的患者級(jí)別標(biāo)簽,這些ROI被標(biāo)記為以下兩類:微衛(wèi)星不穩(wěn)定(15,002個(gè)ROI)和微衛(wèi)星穩(wěn)定(36,916個(gè)ROI)掠剑。
- 在直線探針屈芜、K近鄰算法(KNN)和SimpleShot評(píng)估中郊愧,我們使用了官方的訓(xùn)練-測(cè)試折疊(19,557:32,361個(gè)ROI)朴译。
- 我們?cè)谡{(diào)整大小后的448×448像素、0.57微米每像素(mpp)的ROI上評(píng)估這個(gè)數(shù)據(jù)集属铁。
Pan-cancer tissue classification based on TCGA Uniform Tumor (32 classes)
基于TCGA統(tǒng)一腫瘤數(shù)據(jù)集的全癌種組織分類(32個(gè)類別)
- 泛癌組織分類任務(wù)基于TCGA統(tǒng)一腫瘤數(shù)據(jù)集眠寿,該數(shù)據(jù)集包含來自TCGA68中的8,736個(gè)H&E FFPE診斷病理學(xué)全滑動(dòng)掃描圖像的271,170個(gè)256×256像素的感興趣區(qū)域(ROIs),分辨率約為0.5微米每像素焦蘑,涵蓋了32種癌癥類型盯拱。
- 這些圖像被標(biāo)記為以下32類:腎上腺皮質(zhì)癌(ACC)(4,980個(gè)ROIs)、膀胱尿路上皮癌(BLCA)(9,990個(gè)ROIs)、腦低級(jí)別膠質(zhì)瘤(LGG)(23,530個(gè)ROIs)狡逢、乳腺癌(BRCA)(23,690個(gè)ROIs)宁舰、宮頸鱗狀細(xì)胞癌和子宮頸腺癌(CESC)(6,270個(gè)ROIs)、膽管癌(CHOL)(900個(gè)ROIs)奢浑、結(jié)腸癌(COAD)(8,150個(gè)ROIs)蛮艰、食道癌(ESCA)(3,380個(gè)ROIs)、多形性膠質(zhì)母細(xì)胞瘤(GBM)(23,740個(gè)ROIs)雀彼、頭頸鱗狀細(xì)胞癌(HNSC)(11,790個(gè)ROIs)壤蚜、腎透明細(xì)胞癌(KICH)(2,460個(gè)ROIs)、腎腎透明細(xì)胞癌(KIRC)(11,650個(gè)ROIs)徊哑、腎腎乳頭狀細(xì)胞癌(KIRP)(6,790個(gè)ROIs)袜刷、肝細(xì)胞癌(LIHC)(8,370個(gè)ROIs)、肺腺癌(LUAD)(16,460個(gè)ROIs)莺丑、肺鱗狀細(xì)胞癌(LUSC)(16,560個(gè)ROIs)著蟹、彌漫大B細(xì)胞淋巴瘤(DLBC)(840個(gè)ROIs)、間皮瘤(MESO)(2,090個(gè)ROIs)梢莽、卵巢漿液性囊腺癌(OV)(2,520個(gè)ROIs)草则、胰腺癌(PAAD)(4,090個(gè)ROIs)、嗜鉻細(xì)胞瘤和副神經(jīng)節(jié)瘤(PCPG)(1,350個(gè)ROIs)蟹漓、前列腺腺癌(PRAD)(9,810個(gè)ROIs)炕横、直腸癌(READ)(1,880個(gè)ROIs)、肉瘤(SARC)(13,480個(gè)ROIs)葡粒、皮膚黑色素瘤(SKCM)(10,060個(gè)ROIs)份殿、胃腺癌(STAD)(9,670個(gè)ROIs)、睪丸生殖細(xì)胞瘤(TGCT)(6,010個(gè)ROIs)嗽交、胸腺瘤(THYM)(3,600個(gè)ROIs)卿嘲、甲狀腺癌(THCA)(11,360個(gè)ROIs)、子宮癌肉瘤(UCS)(2,120個(gè)ROIs)夫壁、子宮內(nèi)膜樣癌(UCEC)(12,480個(gè)ROIs)以及葡萄膜黑色素瘤(UVM)(1,640個(gè)ROIs)拾枣。
- 除了BLCA、BRCA盒让、COAD梅肤、HNSC、LUAD邑茄、LUSC姨蝴、PAAD、PRAD肺缕、READ左医、SKCM授帕、STAD、THCA和UCEC之外浮梢,在這項(xiàng)任務(wù)中所有其他癌癥類型都被RARECARE項(xiàng)目和NCI-SEER計(jì)劃指定為罕見癌癥跛十。
- 為了訓(xùn)練和評(píng)估,我們將數(shù)據(jù)集按病例分層并大致按標(biāo)簽分層為訓(xùn)練-測(cè)試折疊(216,350:55,360個(gè)ROIs)秕硝,用于線性探針偶器、K近鄰算法(KNN)和SimpleShot評(píng)估。
- 我們?cè)谶@個(gè)數(shù)據(jù)集上使用大約0.57微米每像素分辨率下調(diào)整大小為224×224像素的ROIs進(jìn)行評(píng)估缝裤。
- 為了減輕TCGA168中特定站點(diǎn)H&E染色變異可能帶來的偏見屏轰,我們使用Macenko歸一化方法對(duì)所有ROIs進(jìn)行了歸一化處理。
Pan-cancer TIL detection based on TCGA-TILS (2 classes)
基于TCGA-TILS的泛癌種TIL檢測(cè)(兩類)
- 腫瘤免疫淋巴細(xì)胞(TIL)檢測(cè)任務(wù)基于TCGA-TILs數(shù)據(jù)集憋飞,該數(shù)據(jù)集包含304,097個(gè)約0.5微米每像素(mpp)的100×100像素組織病理學(xué)感興趣區(qū)域(ROIs)霎苗,這些ROIs從TCGA中的H&E固定組織切片(FFPE)診斷組織病理學(xué)全滑片圖像(WSIs)中標(biāo)注和提取而來。
- ROIs被分為兩類:TIL陽性(如果圖像中有至少兩個(gè)TIL存在榛做,共54,910個(gè)ROIs)和TIL陰性(249,187個(gè)ROIs)唁盏。
- 為了訓(xùn)練和評(píng)估,我們使用了官方提供的訓(xùn)練-驗(yàn)證-測(cè)試劃分(209,221:38,601:56,275個(gè)ROIs)检眯,并將訓(xùn)練和驗(yàn)證集合并為單一的訓(xùn)練集厘擂。
- 我們將所有圖像雙線性上采樣至224×224像素,在0.20 mpp下進(jìn)行處理锰瘸,以便與CTransPath進(jìn)行等效比較刽严。
- 為了減輕TCGA中特定站點(diǎn)H&E染色變異可能帶來的偏差,我們使用Macenko標(biāo)準(zhǔn)化對(duì)所有ROIs進(jìn)行了標(biāo)準(zhǔn)化處理避凝。
- 除了內(nèi)部比較外舞萄,我們也與ChampKit排行榜上的結(jié)果進(jìn)行了比較,相關(guān)結(jié)果報(bào)告在補(bǔ)充表61中管削。
- 值得注意的是倒脓,與公開結(jié)果的比較可能并不等同于我們的評(píng)估,因?yàn)樵S多方法都是通過從自然圖像轉(zhuǎn)移學(xué)習(xí)的方式端到端微調(diào)的(而非來自病理圖像)
Pan-cancer cell type segmentation based on SegPath (8 cell types treated as individual tasks)
基于SegPath的泛癌癥細(xì)胞類型分割(8種細(xì)胞類型被視為單獨(dú)的任務(wù))
- 細(xì)胞類型分割任務(wù)來源于SegPath數(shù)據(jù)集含思,該數(shù)據(jù)集包含158,687個(gè)984×984像素的ROI崎弃,分辨率為0.22微米/像素,這些ROI從東京大學(xué)醫(yī)院的八種主要癌癥組織細(xì)胞類型的H&E FFPE診斷組織病理學(xué)全掃描圖像中注釋并提取含潘。
- 對(duì)ROI進(jìn)行了免疫熒光和DAPI核染色饲做,并用作以下類別的圖像掩模:內(nèi)皮(10,647個(gè)ROI),上皮(26,509個(gè)ROI)调鬓,白細(xì)胞(24,805個(gè)ROI)艇炎,淋巴細(xì)胞(12,273個(gè)ROI),髓系細(xì)胞(14,135個(gè)ROI)腾窝,漿細(xì)胞(13,231個(gè)ROI)缀踪,紅細(xì)胞(25,909個(gè)ROI)以及平滑肌(31,178個(gè)ROI)虹脯。
- 數(shù)據(jù)集中的每種細(xì)胞類型形成一個(gè)獨(dú)立的組織分割任務(wù)驴娃,包含兩類:組織/細(xì)胞區(qū)域和非組織/細(xì)胞區(qū)域。
- 我們使用官方提供的訓(xùn)練-驗(yàn)證-測(cè)試劃分進(jìn)行訓(xùn)練和評(píng)估循集,比例大約為80:10:10唇敞。
- 此外,我們利用該數(shù)據(jù)集的公開評(píng)估來比較我們的結(jié)果咒彤,這些結(jié)果也在補(bǔ)充表中報(bào)告疆柔。
- 值得注意的是,官方數(shù)據(jù)集中并未公開單個(gè)模型的表現(xiàn)镶柱,因此我們對(duì)每種細(xì)胞類型表現(xiàn)最佳的模型性能界限進(jìn)行了插值估算旷档。
Computing hardware and software
計(jì)算硬件和軟件
- 我們使用 Python(v3.8.13)和 PyTorch(v2.0.0,CUDA 11.7)(https://pytorch.org)進(jìn)行研究中的所有實(shí)驗(yàn)和分析(除非另有說明)歇拆,可以使用下面概述的開源庫來復(fù)現(xiàn)鞋屈。
- 為了通過 DINOv2 訓(xùn)練 UNI,我們修改了由 Hugging Face(https://huggingface.co)維護(hù)的開源 timm 庫(v0.9.2)中的視覺變換器實(shí)現(xiàn)故觅,用于編碼器主干厂庇,并使用原始的 DINOv2 自監(jiān)督學(xué)習(xí)算法(https://github.com/facebookresearch/dinov2)進(jìn)行預(yù)訓(xùn)練,該預(yù)訓(xùn)練使用了配置為多 GPU输吏、多節(jié)點(diǎn)訓(xùn)練的分布式數(shù)據(jù)并行(DDP)的 4 × 8 80 GB NVIDIA A100 GPU(圖形處理單元)節(jié)點(diǎn)权旷。
- 所有下游實(shí)驗(yàn)的其他計(jì)算均在單個(gè) 24 GB NVIDIA 3090 GPU 上完成。
- 所有 WSI 處理得到了 OpenSlide(v4.3.1)贯溅、openslide-python(v1.2.0)和 CLAM(https://github.com/mahmoodlab/CLAM)的支持炼杖。
- 我們使用 Scikit-learn(v1.2.1)實(shí)現(xiàn)了 K-最近鄰算法,以及邏輯回歸實(shí)現(xiàn)和 SimpleShot 實(shí)現(xiàn)盗迟,后者由 LGSSL 代碼庫(https://github.com/mbanani/lgssl)提供坤邪。
- 研究中基準(zhǔn)測(cè)試的其他視覺預(yù)訓(xùn)練編碼器的實(shí)現(xiàn)可在以下鏈接找到:帶有 ImageNet 轉(zhuǎn)移的 ResNet-50(https://github.com/mahmoodlab/CLAM)、CTransPath(https://github.com/Xiyue-Wang/TransPath)和 REMEDIS(https://github.com/google-research/medical-ai-research-foundations)罚缕。
- 需要注意的是艇纺,使用 REMEDIS 需要履行數(shù)據(jù)使用協(xié)議,該協(xié)議可在 PhysioNet 網(wǎng)站(https://physionet.org/content/medical-ai-research-foundation)上訪問和提交邮弹。
- 對(duì)于多頭注意力可視化黔衡,我們使用了 HIPT 代碼庫(https://github.com/mahmoodlab/HIPT)提供的可視化工具。
- 對(duì)于訓(xùn)練弱監(jiān)督 ABMIL 模型腌乡,我們從 CLAM 代碼庫(https://github.com/mahmoodlab/CLAM)改編了訓(xùn)練框架代碼盟劫。
- 對(duì)于語義分割訓(xùn)練,我們使用了原始的 Mask2Former 實(shí)現(xiàn)(https://github.com/facebookresearch/Mask2Former)与纽,它基于 detectron2(版本 174)(v0.6)侣签,并需要以下較舊的包以確保兼容性:Python(v3.8)和 PyTorch(v1.9.0塘装,CUDA 11.1)。
- 為了將 ViT-Adapter 添加到 UNI影所,我們?cè)?detectron2 中改編了其原始實(shí)現(xiàn)(https://github.com/czczup/ViT-Adapter)蹦肴,以使用 Mask2Former 進(jìn)行訓(xùn)練。
- Pillow(v9.3.0)和 OpenCV-python 用于執(zhí)行基本的圖像處理任務(wù)猴娩。
- Matplotlib(v3.7.1)和 Seaborn(v0.12.2)用于創(chuàng)建圖表和圖形阴幌。
- 其他雜項(xiàng) Python 庫的使用情況在報(bào)告摘要中有詳細(xì)說明。
Reporting summary
報(bào)告摘要
- 有關(guān)研究設(shè)計(jì)的更多信息可在與本文鏈接的 Nature Portfolio 報(bào)告摘要中找到卷中。
Data availability
- TCGA 和 CPTAC 數(shù)據(jù)矛双,包括全片圖像和標(biāo)簽,可以通過 NIH 基因組數(shù)據(jù)共享獲润≡ァ(https://portal.gdc.cancer.gov)议忽,而蛋白質(zhì)組學(xué)數(shù)據(jù)則可通過蛋白質(zhì)組數(shù)據(jù)共享獲得(https://proteomic.datacommons.cancer.gov)。
- 加入預(yù)訓(xùn)練數(shù)據(jù)集中的 GTEx 數(shù)據(jù)可通過 GTEx 門戶獲任薨!(https://www.gtexportal.org/home/)徙瓶。
- 本工作中分析的所有公開可用的 CPTAC 數(shù)據(jù)均可在其各自的數(shù)據(jù)門戶中獲取:CRC-100K(https://zenodo.org/record/1214456)嫉称、HunCRC ROIs(10.6084/m9.figshare.c.5927795.v1)侦镇、HunCRC 滑動(dòng)條(10.7937/tcia.9cjf-0127)、BACH(https://iciar2018-challenge.grand-challenge.org/Dataset/)织阅、TCGA CRC-MSI(https://zenodo.org/record/3832231)壳繁、CCRCC 組織分類(https://zenodo.org/record/7898308)、TCGA-TILs(https://zenodo.org/record/6604094)荔棉、TCGA Uniform(https://zenodo.org/record/5889558)闹炉、UniToPatho(https://zenodo.org/record/4643645)、ESCA(https://zenodo.org/record/7548828)润樱、CAMELYON17-WILDS(https://wilds.stanford.edu/datasets)渣触、EBRAINS(10.25493/WQ48-ZGX)、DHMC(https://bmirds.github.io/KidneyCancer)壹若、BRACS(https://bracs.icar.cnr.it)嗅钻、PANDA(https://panda.grand-challenge.org)、SegPath(https://zenodo.org/record/7412731)以及 AGGC(https://zenodo.org/record/6460100)店展。
- TCGA养篓、CPTAC、HunCRC 以及 TCGA-TILS 還可通過癌癥影像檔案庫獲取赂蕴。
- 所有數(shù)據(jù)集的鏈接也在補(bǔ)充表 73 中列出柳弄。
- 我們注意到 AGGC 數(shù)據(jù)來源于一項(xiàng)公開的大挑戰(zhàn)(同名大挑戰(zhàn)(https://aggc22.grand-challenge.org)),該挑戰(zhàn)有一篇待發(fā)表的文章101概说,且已獲得挑戰(zhàn)組織者的許可來展示來自該數(shù)據(jù)集的結(jié)果碧注。
- 本研究未專門收集內(nèi)部患者數(shù)據(jù)嚣伐。
- 本研究依賴于對(duì)匿名全片圖像的回顧性分析。
- 根據(jù)機(jī)構(gòu)政策应闯,所有收集或歸檔的內(nèi)部數(shù)據(jù)的請(qǐng)求將逐案評(píng)估纤控,以確定所請(qǐng)求的數(shù)據(jù)及使用情況是否符合知識(shí)產(chǎn)權(quán)或患者隱私義務(wù)挂捻。
Code availability
- 用于學(xué)術(shù)研究目的的 UNI 的代碼和模型權(quán)重可從 https://github.com/mahmoodlab/UNI 獲取碉纺。
- 我們記錄了研究中使用的所有技術(shù)深度學(xué)習(xí)方法和軟件庫,同時(shí)確保論文能夠被更廣泛的臨床和科學(xué)讀者群理解刻撒。
本文由mdnice多平臺(tái)發(fā)布