CVPR, 2023
論文：https://arxiv.org/pdf/2303.14869.pdf
代碼：https://github.com/MrGiovanni/SyntheticTumors
一句話總結(jié)：提出了一種肝臟腫瘤的生成方法（非深度學(xué)習(xí)方法）藤肢，用于訓(xùn)練分割模型性能接近甚至超過真實(shí)數(shù)據(jù)。
1. 背景
醫(yī)學(xué)圖像的標(biāo)注不僅昂貴耗時(shí)锌奴，還需要醫(yī)學(xué)的專業(yè)知識(shí)，成本很高槽驶。使用生成圖像是降低訓(xùn)練成本的一個(gè)方法审洞，作者認(rèn)為照卦，合成腫瘤有幾個(gè)重要因素：形狀式矫、強(qiáng)度、大小役耕、位置和紋理。在本文中聪廉，作者手工制作了一個(gè)在腹部 CT 圖像中合成肝臟腫瘤的方法瞬痘。創(chuàng)新點(diǎn)包括：
（i）在不與血管碰撞的情況下定位，
（ii）具有放大的高斯噪聲的紋理板熊，
（iii）由扭曲的橢球體生成的形狀框全。
這三種方法是根據(jù)肝臟腫瘤的臨床知識(shí)提出的。
文章的實(shí)驗(yàn)中干签，專業(yè)的醫(yī)生也難以區(qū)分生成的合成腫瘤圖像與真實(shí)圖像津辩。此外，在合成腫瘤上訓(xùn)練的模型在分割真實(shí)肝臟腫瘤時(shí)獲得了59.81%的 Dice 相似系數(shù)（Dice Similarity Coefficient容劳，DSC）喘沿，而只在真實(shí)腫瘤上訓(xùn)練過的模型獲得了57.63%的DSC，這表明在訓(xùn)練時(shí)合成腫瘤有可能被用作真實(shí)腫瘤的替代品竭贩。
本文的主要貢獻(xiàn)是合成腫瘤生成器蚜印，有以下優(yōu)點(diǎn)：
- 將醫(yī)學(xué)知識(shí)嵌入到可執(zhí)行程序中，通過放射科醫(yī)生和計(jì)算機(jī)科學(xué)家的合作留量，能夠生成真實(shí)的腫瘤
- 整個(gè)訓(xùn)練階段不需要注釋成本窄赋，并且所得到的模型顯著優(yōu)于其他無監(jiān)督異常分割方法以及腫瘤合成策略
- 在合成腫瘤上訓(xùn)練的模型可以實(shí)現(xiàn)與在真實(shí)腫瘤上訓(xùn)練的模型類似的性能，并且可以泛化到健康肝臟的CT掃描和其他醫(yī)院的掃描
- 合成策略可以生成多種腫瘤楼熄，包括小忆绰、中、大范圍的腫瘤可岂，因此具有檢測(cè)小腫瘤和促進(jìn)癌癥早期檢測(cè)的潛力
- 合成策略允許對(duì)腫瘤位置错敢、大小、質(zhì)地青柄、形狀和強(qiáng)度等參數(shù)進(jìn)行直接操作伐债，為在分布外場(chǎng)景下評(píng)估模型提供了一個(gè)綜合的測(cè)試平臺(tái)
2. 方法
2.1 腫瘤生成
為了定位肝臟预侯，作者首先將預(yù)訓(xùn)練的 nnU-Net 應(yīng)用于 CT 掃描。通過可用的肝臟粗略位置峰锁，作者隨后開發(fā)了一系列形態(tài)學(xué)圖像處理操作萎馅，以在肝臟內(nèi)合成逼真的腫瘤。腫瘤生成包括四個(gè)步驟：（1）位置選擇虹蒋，（2）紋理生成糜芳，（3）形狀生成，以及（4）后處理魄衅。
位置選擇峭竣。第一步是為腫瘤選擇合適的位置。這一步至關(guān)重要晃虫，因?yàn)楦闻K腫瘤通常不允許任何血管（例如皆撩，肝靜脈、門靜脈和下腔靜脈）通過它們哲银。為了避開血管扛吞，首先通過體素值閾值進(jìn)行血管分割。分割后的血管掩碼由以下等式給出
其中荆责， 滥比，即原始 CT 通過高斯濾波器平滑。 平滑可以有效地消除 CT 重建引起的噪聲做院。閾值 T被設(shè)置為略大于肝臟的平均Hounsfield Unit（HU）的值盲泛。
Hounsfield Unit（HU），是測(cè)定人體某一局部組織或器官密度大小的一種計(jì)量單位键耕，通常稱亨氏單位寺滚，又叫做 CT 值。
其中郁竟， 是肝臟 mask玛迄， b是超參數(shù)。
有了血管 mask棚亩，就可以檢測(cè)腫瘤位置是否有使腫瘤與血管碰撞的風(fēng)險(xiǎn)蓖议。在一個(gè)隨機(jī)位置 勒虾，通過判斷腫瘤半徑
范圍內(nèi)是否有血管來進(jìn)行碰撞檢測(cè)。如果
瘸彤，
，
愕宋，
，則存在碰撞的風(fēng)險(xiǎn)中贝，因此需要重新選擇位置囤捻。這個(gè)過程重復(fù)進(jìn)行，直到找到一個(gè)沒有碰撞的腫瘤位置
邻寿。通過理想的腫瘤位置蝎土，我們能夠生成腫瘤的紋理和形狀。
紋理生成绣否。肝臟和腫瘤紋理的 HU 值服從高斯分布誊涯。為了獲得逼真的腫瘤紋理，作者首先生成一個(gè) 3D 高斯噪聲蒜撮，預(yù)定義的平均 HU 強(qiáng)度 以及與肝實(shí)質(zhì)（不包括血管的肝臟區(qū)域）相同的標(biāo)準(zhǔn)偏差
暴构，
。由于隨機(jī)高斯噪聲通常作為腫瘤的紋理過于尖銳段磨，作者通過在 x丹壕、y、z 方向上使用 3 階樣條插值（三次插值）按比例放大來軟化紋理薇溃。在這項(xiàng)工作中，按比例放大的紋理表示為
缭乘，作者希望它表現(xiàn)出接近肝實(shí)質(zhì)的顆粒感沐序。比例因子
決定了生成的顆粒感覺有多粗糙。
表示高斯紋理未縮放堕绩，導(dǎo)致相鄰體素之間的值波動(dòng)較大策幼。較大的
帶來較大的顆粒度，可能類似于真實(shí)的腫瘤紋理奴紧。最后特姐，考慮到層析成像質(zhì)量，作者進(jìn)一步用高斯濾波器模糊紋理
黍氮，讓紋理與真實(shí)圖像更相似:
形狀生成唐含。大多數(shù)腫瘤從中心生長(zhǎng)并逐漸腫脹，使小腫瘤（即 r < 20mm）接近球形沫浆。這促使作者用橢圓體生成類似腫瘤的形狀捷枯。我們從均勻分布 中隨機(jī)采樣橢圓體在 x、y专执、z 方向的半軸長(zhǎng)度淮捆，并將生成的橢圓體掩碼放置在
的中心。對(duì)于一個(gè)生成的橢圓體腫瘤掩模
，由
控制的彈性變形 攀痊，用于豐富其多樣性桐腌。變形的腫瘤mask 在外觀上比簡(jiǎn)單的橢圓體更類似于自然生長(zhǎng)的腫瘤。此外苟径，它還可以通過學(xué)習(xí)形狀語義不變性來提高模型的魯棒性案站。變形的腫瘤掩模表示為
。為了使生成的腫瘤和周圍肝實(shí)質(zhì)之間的過渡更加自然涩笤，作者最后通過應(yīng)用高斯濾波器
來模糊腫瘤 mask嚼吞。
后處理。后處理的第一步是將腫瘤放置在原來的 CT 和相應(yīng)的肝臟 mask
上蹬碧。假設(shè)腫瘤mask
和紋理
具有與
和
相同的形狀舱禽。我們可以通過下面的公式獲得新的腫瘤影像：
放置腫瘤后，作者采用另外兩個(gè)步驟使生成的腫瘤對(duì)醫(yī)療專業(yè)人員來說更逼真恩沽。它們旨在分別模擬腫塊效應(yīng)和包膜誊稚。腫塊效應(yīng)意味著不斷擴(kuò)大的腫瘤將其周圍的組織推開。如果腫瘤長(zhǎng)得足夠大罗心，就會(huì)壓迫周圍的血管使其彎曲里伯，甚至導(dǎo)致附近肝臟的邊緣隆起。在這項(xiàng)工作中渤闷，選擇局部縮放翹曲來實(shí)現(xiàn)腫塊效應(yīng)疾瓮。它重新映射圓圈中的像素以更接近圓周。對(duì)于到圓心距離為 γ 的像素飒箭，重新映射的像素距離 γ' 為
最后狼电，我們通過使腫瘤邊緣變亮，增加模糊邊緣區(qū)域的HU強(qiáng)度來模擬包膜弦蹂。
包膜（capsule appearance）肩碟，門脈期或者延遲期病灶周圍光滑的環(huán)狀高強(qiáng)化。
超參數(shù)設(shè)置如下：
2.2 肝臟腫瘤的臨床知識(shí)
這項(xiàng)工作的重點(diǎn)是產(chǎn)生肝細(xì)胞癌（由肝細(xì)胞生長(zhǎng)的腫瘤）。注射造影劑后脑漫，肝臟的臨床檢查過程分為三個(gè)階段髓抑，動(dòng)脈期（注射后30秒）、前靜脈期（注射前60-70秒）和延遲期（注射3分鐘）窿撬。通常启昧，只有前兩個(gè)階段用于檢測(cè)肝細(xì)胞癌，并且不同階段的腫瘤HU強(qiáng)度值分布不同劈伴。肝動(dòng)脈期病變的平均衰減測(cè)量值為111 HU（范圍32–207 HU）密末，門靜脈期病變的衰減測(cè)量值降至106 HU的平均值（范圍36–162 HU）握爷。動(dòng)脈期病變和肝臟之間的平均差異為26 HU（范圍為-44至146 HU）。平均而言严里，在門靜脈期新啼，肝細(xì)胞癌的測(cè)量值比鄰近的肝實(shí)質(zhì)低11 HU（范圍為-98至61 HU）。分布特征有助于我們確定生成的平均腫瘤HU值刹碾。
根據(jù)肝臟成像報(bào)告的標(biāo)準(zhǔn)化指南(LI-RADS)燥撞，腫瘤的位置、形狀和數(shù)量取決于肝細(xì)胞癌的嚴(yán)重程度迷帜。溫和的癌通常會(huì)導(dǎo)致更小物舒、更少的球形病變。大多數(shù)情況下只有一個(gè)小腫瘤出現(xiàn)戏锹。而多灶性病變冠胯，即分散的小腫瘤，只出現(xiàn)在很少的病例中锦针。嚴(yán)重的癌癥通常表現(xiàn)為衛(wèi)星病變荠察，一個(gè)被一簇小病變包圍的大病變。大的中央病變也比小的病變呈現(xiàn)出更不規(guī)則的形狀奈搜。此外悉盆，較大的腫瘤通常表現(xiàn)出明顯的腫塊效應(yīng)，并伴有將腫瘤與肝實(shí)質(zhì)分離的包膜馋吗。
3. 實(shí)驗(yàn)及結(jié)果
作者的代碼是基于MONAI框架的U-Net和Swin-UNETR的實(shí)現(xiàn)的焕盟。輸入圖像以[-21， 189]的窗口范圍進(jìn)行剪裁宏粤，然后歸一化為零平均值和單位標(biāo)準(zhǔn)差京髓。在訓(xùn)練過程中，從3D圖像體積中裁剪出96×96×96的隨機(jī)補(bǔ)丁商架。所有模型都經(jīng)過4000個(gè)時(shí)期的訓(xùn)練，基本學(xué)習(xí)率為0.0002芥玉。每個(gè)GPU的 batch 大小為兩個(gè)蛇摸。采用了線性預(yù)熱策略和余弦退火學(xué)習(xí)速率調(diào)度。推理階段使用滑動(dòng)窗口策略灿巧，將重疊面積比設(shè)置為0.75赶袄。
3.1 使用視覺圖靈測(cè)試進(jìn)行臨床驗(yàn)證
作者對(duì)50次CT掃描進(jìn)行了視覺圖靈測(cè)試[，其中20次掃描是LiTS的真實(shí)腫瘤抠藕，其余30次掃描是WORD的健康肝臟和合成腫瘤饿肺。兩位經(jīng)驗(yàn)水平不同的專業(yè)人士參加了這次測(cè)試。他們可以在3D視圖中檢查每個(gè)樣本盾似。在測(cè)試中敬辣，專業(yè)人員可以將每個(gè)樣本標(biāo)記為真實(shí)的、合成的或不確定的。計(jì)算性能指標(biāo)時(shí)溉跃，只計(jì)算具有確定結(jié)果的樣本村刨。
測(cè)試結(jié)果如下表所示：
3.2 與SOTA相比
對(duì)比無監(jiān)督分割如PatchCore、f-AnoGAN撰茎、VAE等嵌牺。相比之下，作者的方法龄糊，實(shí)現(xiàn)了59.77%的DSC和61.29%的NSD逆粹。另一方面，使用完全監(jiān)督學(xué)習(xí)在真實(shí)腫瘤上訓(xùn)練的模型實(shí)現(xiàn)了57.51%的DSC和58.04%的NSD炫惩。
3.3 使用其他模型和數(shù)據(jù)集
使用 Swin UNETR僻弹， 在真實(shí)腫瘤上訓(xùn)練的模型表現(xiàn)略好于在合成腫瘤上訓(xùn)練，但由于p值大于0.05诡必，兩個(gè)結(jié)果之間沒有統(tǒng)計(jì)學(xué)差異奢方。除了評(píng)估 LiTS 數(shù)據(jù)集上的模型外，作者還使用其他數(shù)據(jù)集（即MSD胰腺爸舒、MSD脾臟蟋字、MSD結(jié)腸）的數(shù)據(jù)評(píng)估其領(lǐng)域泛化能力。如下圖的右側(cè)面板所示扭勉，作者的模型使用從3個(gè)不同數(shù)據(jù)集收集的健康數(shù)據(jù)進(jìn)行訓(xùn)練鹊奖，與僅使用LiTS的真實(shí)數(shù)據(jù)進(jìn)行訓(xùn)練的模型相比，顯示出更好的魯棒性涂炎。
3.4 小腫瘤檢測(cè)實(shí)驗(yàn)
早期發(fā)現(xiàn)小腫瘤對(duì)于及時(shí)診斷癌癥至關(guān)重要忠聚，但由于大多數(shù)患者在早期階段仍無癥狀，因此此類病例在實(shí)際數(shù)據(jù)集中很少唱捣。在這些數(shù)據(jù)集上訓(xùn)練的模型顯示两蟀，與較大腫瘤（半徑>5mm）相比，小腫瘤（半徑<5mm）的檢測(cè)靈敏度降低震缭，靈敏度分別為52.0%和91.6%赂毯。
3.5 可控的魯棒性評(píng)估
UNet++、nnU-Net 和Swin UNETR 是醫(yī)學(xué)領(lǐng)域極具競(jìng)爭(zhēng)力的細(xì)分模型拣宰。然而党涕，由于缺乏足夠的測(cè)試圖像，它們?cè)谀[瘤分割方面的局限性尚未完全揭示巡社。相反膛堤，合成腫瘤使我們能夠?qū)@些模型進(jìn)行廣泛的評(píng)估，以分割不同條件下的肝臟腫瘤晌该，即形狀肥荔、大小绿渣、質(zhì)地、強(qiáng)度和位置次企。
使用不同的參數(shù)生成合成腫瘤來評(píng)估這些模型怯晕，其中μ和σ分別表示平均值和標(biāo)準(zhǔn)差。作者的研究結(jié)果表明缸棵，這些模型對(duì)腫瘤形狀舟茶、位置和質(zhì)地的變化表現(xiàn)出魯棒性，但對(duì)腫瘤大小和強(qiáng)度敏感堵第。具體來說吧凉，，當(dāng)遇到比訓(xùn)練集中的腫瘤更小或更大的腫瘤時(shí)踏志，或者當(dāng)面對(duì)不同的Hounsfield單位（HU）值時(shí)阀捅，這些模型容易出錯(cuò)，這可能歸因于對(duì)比度增強(qiáng)针余。
4. 總結(jié)
本文提出了一種生成肝臟腫瘤的方法饲鄙，優(yōu)點(diǎn)在于可以生成參數(shù)可調(diào)的合成肝臟腫瘤數(shù)據(jù)，解決醫(yī)學(xué)圖像標(biāo)注昂貴的問題圆雁，并且在分割任務(wù)上與使用真實(shí)圖像表現(xiàn)相當(dāng)忍级；合成數(shù)據(jù)也可以用于反向推導(dǎo)出模型會(huì)被哪些因素干擾。
個(gè)人認(rèn)為的不足之處是缺乏對(duì)于合成圖像的評(píng)估指標(biāo)伪朽，讓醫(yī)生來人工判斷真假成本依舊很高轴咱，也許可以訓(xùn)練一個(gè)判別器來實(shí)現(xiàn)合成圖像的判斷。生成圖像和真實(shí)圖像之間的 domain 差距也需要做一些處理烈涮，來進(jìn)一步拉近數(shù)據(jù)之間的分布差異朴肺。
