敢想咧擂,敢做,腳踏實(shí)地
IP屬地:青海
谷歌推出的Bert疗涉,最近有多火,估計(jì)做自然語言處理的都知道吟秩。據(jù)稱在SQuAD等11項(xiàng)任務(wù)當(dāng)中達(dá)到了state of the art咱扣。bert的原理可參考論文,或者網(wǎng)上其他人翻...
mask的部分加上-10000.0祭往,不mask的部分加上0,是因?yàn)檫€沒有下一步要進(jìn)行的是softmax,e^-1000000與等于0火窒, 讓模型對pad的部分(沒有意義的部分)不要基于過多的注意力硼补,