這篇文章最大的貢獻就是有效降低了vision transformer的訓(xùn)練成本（時間以及數(shù)據(jù)）论咏，提高了ViT實驗的可復(fù)現(xiàn)性摊溶，本文所提出的DeiT只需要在8塊gpu上訓(xùn)練不到3...
發(fā)簡信
IP屬地：北京
-
Training data-ef?cient image transformers & distillation through attention -
Bottleneck Transformers for Visual Recognition谷歌和伯克利一起提出的Bottleneck Transformer（BoT）屬于一種hybrid network娄猫，將cnn和transformer結(jié)合起來，以期達到比二者單獨...
-
An image is worth 16 x 16 words: transformers for image recognition at a scale（可能）是第一次大規(guī)模的采用純transformer做cv任務(wù)的文章雾鬼，驗證了transformer在cv領(lǐng)域的有效性，大大的挖坑之作。 ViT的網(wǎng)絡(luò)結(jié)構(gòu)其實很簡單馍盟，就是一個普...
-
pytorch學(xué)習(xí)經(jīng)驗（五）手動實現(xiàn)交叉熵損失及Focal Loss我發(fā)現(xiàn)，手寫損失函數(shù)一般都會運用到很多稍微復(fù)雜一些的張量操作茧吊，很適合用來學(xué)習(xí)pytorch張量操作贞岭，所以這里分析幾個常用損失函數(shù)練習(xí)一下。 1. Binary Cross E...
-
Tensorflow計算梯度為NoneType：ValueError: Tried to convert 'y' to a tensor and failed. Error: None valu...
最近在寫tensorflow代碼搓侄，幾天前寫雙向lstm的時候瞄桨，就不明不白出現(xiàn)了一次梯度是NoneType的問題，因為當(dāng)時比較趕時間就放棄了雙向lstm讶踪。今天芯侥，在寫transf...
-
利用densecrf對分割結(jié)果進行后處理
利用densecrf進行分割結(jié)果的處理,可以對邊緣起到一定的平滑作用,如果對網(wǎng)絡(luò)實時性沒有要求的話,加上crf處理會讓結(jié)果好看很多.工具: numpy, pydensecrf...
-
計算機視覺中的注意力機制研究
寫在前面的話：本文來自于本人的一次課程作業(yè)綜述，當(dāng)時還是寫了很久的乳讥，不想交上去就完了柱查，所以發(fā)上來留個紀(jì)念。 摘要 將注意力機制用在計算機視覺任務(wù)上云石，可以有效捕捉圖片中有用的區(qū)...
-
Python中str()與repr()函數(shù)的區(qū)別
在 Python 中要將某一類型的變量或者常量轉(zhuǎn)換為字符串對象通常有兩種方法唉工，即 str() 或者 repr() 。 但是這二者之間有什么區(qū)別呢留晚？因為提供兩個功能完全相同的內(nèi)...
-
神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計論文選讀2019.01.25 SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKSThomas N. Ki...
