![240](https://cdn2.jianshu.io/assets/default_avatar/12-aeeea4bedf10f2a12c0d50d626951489.jpg?imageMogr2/auto-orient/strip|imageView2/1/w/240/h/240)
神經(jīng)網(wǎng)絡(luò)擁有很強(qiáng)的預(yù)測(cè)能力侥钳,但它們往往無(wú)法知道自己的預(yù)測(cè)何時(shí)可能出錯(cuò)。與此密切相關(guān)的是out-of-distribution檢測(cè)任務(wù)氯迂,在這個(gè)任務(wù)...
BERT是在OpenAI GPT基礎(chǔ)上發(fā)展起來(lái)的,是一種動(dòng)態(tài)詞向量技術(shù)。與傳統(tǒng)靜態(tài)詞向量不同憔购,動(dòng)態(tài)詞向量可以根據(jù)具體的上下文信息,動(dòng)態(tài)生成詞向量...
作者:Petar Velickovic, Guillem Cucurull, Arantxa Casanova, Yoshua Bengio 來(lái)...
介紹 我們使用一些傳統(tǒng)的監(jiān)督學(xué)習(xí)方法做分類的時(shí)候岔帽,往往是訓(xùn)練樣本規(guī)模越大玫鸟,分類的效果就越好。但是在現(xiàn)實(shí)生活的很多場(chǎng)景中犀勒,標(biāo)記樣本的獲取是比較困難...
這篇文章與Self-Attention with Relative Position Representations和Convolutional...
Introduction 作者認(rèn)為好的word representation模型應(yīng)該同時(shí)兼顧兩個(gè)問(wèn)題:一是詞語(yǔ)用法在語(yǔ)義和語(yǔ)法上的復(fù)雜特點(diǎn)屎飘;二是...
這篇文章雖然寫的是Image Recognition贾费,但是它提出殘差網(wǎng)絡(luò)的思想在其他任務(wù)中也有很多應(yīng)用钦购,具有廣泛的借鑒意義。 背景 隨著網(wǎng)絡(luò)結(jié)構(gòu)...
這篇文章作者是word2vec的作者褂萧,主要做的工作是paragraph vector押桃,就是把paragraph變成一個(gè)固定長(zhǎng)度的向量。其中大量的...
Peter Shaw, Jakob Uszkoreit, and Ashish Vaswani. 2018. Self-Attention wi...