發(fā)簡信
IP屬地：北京
-
pytorch訓(xùn)練經(jīng)驗
用fp16訓(xùn)練的時候，得單獨把transformer layer改成fp32佳簸，不然可能loss不降 checkpoint+ddp的時候赡茸，可能會報...
-
pytorch下index數(shù)據(jù)
1. 通過下標(biāo)取數(shù)據(jù)：index_select torch.index_select(input, dim, index)input: 待ind...
-
DetNet: A Backbone network for Object Detection今天讀了一篇比較古老的文章酵紫，是曠視發(fā)表在ECCV18的一篇目標(biāo)檢測文章贤重，DetNet拴魄。這篇文章應(yīng)該緊跟著FPN發(fā)表的汛骂，主要針對目標(biāo)檢測通用bac...
-
Tokens-to-Token ViT: Training Vision Transformers from Scratch on ImageNet這篇文章是從改進ViT輸入的角度來做的路星，在最初版本的ViT中溯街，是將圖像分成16*16個patch，每個patch展開為一個向量奥额，作為ViT的序列...
-
DeepViT: Towards Deeper Vision Transformer字節(jié)跳動AI Lab最新的工作苫幢，研究了如何把ViT做的更深的問題。之前的ViT采用的都是固定的12層垫挨，所不同的是head的數(shù)目和embeddin...
-
Training data-ef?cient image transformers & distillation through attention這篇文章最大的貢獻就是有效降低了vision transformer的訓(xùn)練成本（時間以及數(shù)據(jù)）韩肝，提高了ViT實驗的可復(fù)現(xiàn)性，本文所提出的DeiT...
-
Bottleneck Transformers for Visual Recognition谷歌和伯克利一起提出的Bottleneck Transformer（BoT）屬于一種hybrid network九榔，將cnn和transforme...
-
An image is worth 16 x 16 words: transformers for image recognition at a scale（可能）是第一次大規(guī)模的采用純transformer做cv任務(wù)的文章哀峻，驗證了transformer在cv領(lǐng)域的有效性涡相，大大的挖坑之作。 ViT的...
-
pytorch學(xué)習(xí)經(jīng)驗（六）torch.where()：根據(jù)條件修改張量值
今天寫代碼的時候遇到一個問題剩蟀，網(wǎng)絡(luò)前向過程中有一個張量A催蝗，我想把張量A中的大于0的值變成張量B中對應(yīng)的值，最初的實現(xiàn)是： 然后運行起來就報錯了育特，...