敢想鸟赫,敢做蒜胖,腳踏實(shí)地
IP屬地:浙江
谷歌推出的Bert,最近有多火蛤织,估計(jì)做自然語(yǔ)言處理的都知道赴叹。據(jù)稱在SQuAD等11項(xiàng)任務(wù)當(dāng)中達(dá)到了state of the art。bert的原理可參考論文指蚜,或者網(wǎng)上其他人翻...
mask的部分加上-10000.0些椒,不mask的部分加上0,是因?yàn)檫€沒(méi)有下一步要進(jìn)行的是softmax,e^-1000000與等于0, 讓模型對(duì)pad的部分(沒(méi)有意義的部分)不要基于過(guò)多的注意力赢乓,