發(fā)簡(jiǎn)信
IP屬地：內(nèi)蒙古
-
Transformer的一些理解
最近又認(rèn)真的看了一遍Transformer疮方，但是研究的越多，反而也看不清真相了茧彤。 為啥這樣的一些設(shè)計(jì)骡显，竟然能讓模型記住那么多信息。如今各大廠競(jìng)相...
-
真正的利器：對(duì)比學(xué)習(xí)SimCSE最近看了一篇最新的Sentence Embedding論文曾掂，今年4月份的惫谤，丹琦大神發(fā)表的《Simple Contrastive Learning...
-
Faiss那點(diǎn)事~最近看了下Faiss的原因，今天讓我們來(lái)Faiss那點(diǎn)事~全名叫Facebook AI Similarity Search珠洗。顧名思義溜歪，F(xiàn)aceb...
-
偏差（Bias）、方差（Variance）许蓖、噪聲蝴猪、泛化誤差聊到這幾個(gè)概念，一般人如果不認(rèn)真看膊爪，還真容易搞混自阱。看上去貌似很高大的術(shù)語(yǔ)蚁飒，其實(shí)理解后很簡(jiǎn)單动壤。接下來(lái)萝喘，咱們就看下淮逻。 偏差 是指在同一份數(shù)據(jù)集上琼懊，訓(xùn)...
-
Hard Negtive題目 試想有一份數(shù)據(jù)集，有99個(gè)負(fù)樣本爬早，1個(gè)正樣本『哒桑現(xiàn)在我們要學(xué)習(xí)一個(gè)模型，怎么學(xué)筛严？ 分析 看上去醉旦，直接學(xué)，模型會(huì)擬合大量負(fù)樣本的特性桨啃。根本學(xué)不...
-
深度語(yǔ)言模型-AlBertGoogle在2020年提出了AlBert模型车胡。模型是對(duì)Bert的改進(jìn)，效果肯定要好照瘾，不然怎么是改進(jìn)呢匈棘，貌似說(shuō)的是廢話。閑言碎語(yǔ)不要講析命，直接上結(jié)...
-
DropOut技術(shù)簡(jiǎn)述
DropOut的概念首次在2012年主卫，論文《Improving neural networks by preventing co-adaptat...
-
UDA（Unsupervised Data Augmentation 無(wú)監(jiān)督數(shù)據(jù)增強(qiáng)）Google在2019年提出了UDA方法（Unsupervised Data Augmentation 無(wú)監(jiān)督數(shù)據(jù)增強(qiáng)），這是一種半監(jiān)督學(xué)習(xí)方法...
-
采樣
對(duì)于樣本分布不平衡的分類鹃愤，如果按照0.5閾值分類簇搅，容易造成虛假的指標(biāo)。因?yàn)槟Ｐ鸵恢倍荚趯W(xué)習(xí)大樣本類软吐，這樣最后預(yù)測(cè)的結(jié)果瘩将，傾向于大樣本類。因此可以...