深度神經(jīng)網(wǎng)絡(luò)已經(jīng)是橫行于視覺以及自然語言處理領(lǐng)域，但是為什么在表格數(shù)據(jù)上卻表現(xiàn)平平呢， 這篇論文——啊 摘要的第一個(gè)單詞就看不懂情妖，Heterogeneous 異質(zhì)性。說白了...
發(fā)簡信
IP屬地：河南
-
Deep Neural Networks and Tabular Data: A Survey 深度神經(jīng)網(wǎng)絡(luò)與表格數(shù)據(jù)：綜述 2022-04-18 -
Masked Autoencoders Are Scalable Vision Learners 2021-11-13ViT作為Backbone, 用類似BERT的方式進(jìn)行自監(jiān)督預(yù)訓(xùn)練，通過隨機(jī)遮蓋大部分patch讓encoder更好地“理解”圖片辐马。 重點(diǎn)以及和BEIT的區(qū)別 其實(shí)把BERT...
-
【Kaggle日記】呼吸機(jī)壓力預(yù)測 2021-11-09谷歌呼吸機(jī)壓力預(yù)測比賽[https://www.kaggle.com/c/ventilator-pressure-prediction/overview]參考：數(shù)據(jù)探索[ht...
-
GBDT 實(shí)用向指南，特征工程以及調(diào)參 2021-05-02Gradient Boosting Decision Trees 是把1999年的 Gradient Boosting Machine[https://statweb.sta...
-
METRO 掩碼頂點(diǎn)模型人體Mesh重建 2021-07-02視頻版：https://www.bilibili.com/video/BV15B4y1T7Q7[https://www.bilibili.com/video/BV15B4y1...
-
MLP-Mixer, FNet 2021-05-29視覺任務(wù)一直是以CNN為主流局义，2020年出現(xiàn)了基于NLP領(lǐng)域Transformer的模型Vision Transformer喜爷，用自注意力機(jī)制來替換CNN，而同一團(tuán)隊(duì)今年發(fā)表了...
-
RepVGG 結(jié)構(gòu)重參數(shù)化 2021-05-17https://arxiv.org/pdf/2101.03697.pdf[https://arxiv.org/pdf/2101.03697.pdf] 今年三月份發(fā)布這項(xiàng)工作叫...
-
ViT 對比 swin Transformer 2021-05-18ViT AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALEhttps://ar...
-
Contrastive Learning, MoCo 對比學(xué)習(xí) 2021-05-09深度神經(jīng)網(wǎng)絡(luò)有著強(qiáng)大的表征能力一張輸入圖片經(jīng)過層層變換表達(dá)為一個(gè)特征向量如果是監(jiān)督學(xué)習(xí)萄唇，特征的預(yù)測結(jié)果可以和標(biāo)簽比對作為損失函數(shù)檩帐；那如果是無監(jiān)督學(xué)習(xí)，沒有l(wèi)abel,損失函數(shù)...
-
NFNet, 理解BN然后拋棄它 2021-05-15https://arxiv.org/pdf/2102.06171.pdf[https://arxiv.org/pdf/2102.06171.pdf]NFNet這篇論文的內(nèi)容很...
-
Efficient NetV1V2另萤，MnasNet湃密， 2021-05-13這篇論文探索了卷積神經(jīng)網(wǎng)路模型在三個(gè)維度上的縮放對精度的影響，分別是深度（層數(shù)）四敞，寬度（通道數(shù)）以及分辨率（特征圖的寬度和高度）泛源。 它的主要貢獻(xiàn)就是提出了一種在增加參數(shù)量時(shí)平...
-
頻率學(xué)派 極大似然估計(jì)MLE，貝葉斯學(xué)派 最大后驗(yàn)估計(jì)MAP 2021-05-11MLE和MAP忿危，如何從數(shù)據(jù)樣本估計(jì)參數(shù)达箍？ 其實(shí)機(jī)器學(xué)習(xí)包括深度學(xué)習(xí)的模型都是在學(xué)習(xí)數(shù)據(jù)的分布。那么如何根據(jù)已有數(shù)據(jù)铺厨，估計(jì)影響數(shù)據(jù)的概率分布的參數(shù)（比如均勻分布的最大最小值缎玫，正...
-
HRNet/ Lite-HRNet 2021-03-29時(shí)間終于來到了2020年硬纤！今天來讀一讀這一篇還蠻有新意的高分辨率神經(jīng)網(wǎng)絡(luò)。之前講過的 AlexNet赃磨， VGGNet筝家， GoogleNet， ResNet邻辉， 他們都和LeNe...
-
你好溪王，最近正在趕論文生死關(guān)頭也沒有時(shí)間，問問別人看恩沛？祝好運(yùn)在扰！
Inception 系列 2021-03-22
對Inception系列的三篇論文缕减，5個(gè)模型進(jìn)行一個(gè)淺顯的總結(jié)對比雷客。來看看系列之首的第一個(gè)參考文獻(xiàn)——we need to go deeper， 這在這個(gè)系列中有兩個(gè)意思桥狡，從...
-
DenseNet 特征復(fù)用 2021-03-222018 https://arxiv.org/pdf/1608.06993.pdf[https://arxiv.org/pdf/1608.06993.pdf]參考博客：ht...
-
Inception 系列 2021-03-22對Inception系列的三篇論文搅裙，5個(gè)模型進(jìn)行一個(gè)淺顯的總結(jié)對比。來看看系列之首的第一個(gè)參考文獻(xiàn)——we need to go deeper裹芝， 這在這個(gè)系列中有兩個(gè)意思部逮，從...
-
模型退化 2021-03-23寫一寫我理解的模型退化 矩陣退化 首先來回顧一點(diǎn)線性代數(shù)中退化矩陣的知識，退化這個(gè)概念應(yīng)該是類似線性代數(shù)中的退化矩陣嫂易，也叫奇異矩陣兄朋，特點(diǎn)是行列式為0，也就是說矩陣內(nèi)* 存在線...
-
ResNet 系列 殘差連接 2021-03-05殘差連接是什么 雖然普遍認(rèn)為神經(jīng)網(wǎng)絡(luò)模型越深怜械，擬合能力越好颅和，但是由于梯度消失/爆炸等問題，在深度到達(dá)了一定程度后, 模型的表現(xiàn)會不升反降缕允。2015年的ResNet是針對模型退...