Transformer-《Attention is All You Need》

簡(jiǎn)介

Transformer是谷歌提出的只基于Attention的網(wǎng)絡(luò)模型,它也是一種Encoder-Decoder的網(wǎng)絡(luò)結(jié)構(gòu),但是沒(méi)有使用任何CNN或者RNN的結(jié)構(gòu),而是全靠Attention,so Attention is All You Need.這樣做有什么好處呢?傳統(tǒng)的RNN系模型(LSTM,GRU等)都是序列模型,每一步都需要上一步的結(jié)果,所以無(wú)法并行化.而CNN系雖然可以并行,但是只能捕捉到局部信息,無(wú)法考慮到上下文關(guān)系的語(yǔ)義信息.所以google提出了一種新的架構(gòu),只用Attention.它不僅可以實(shí)現(xiàn)并行化,還可以一步得到全局信息.

Attention

Attention的相關(guān)知識(shí)可以參考我另一篇文章:Attention注意力機(jī)制介紹

Google在Transformer中使用的是乘法Attention結(jié)構(gòu)圖如下

圖1

然后經(jīng)過(guò)堆疊形成Multi-Head Attention.什么是Multi-Head Attention?這個(gè)是Google提出的新概念,如圖所示,就是把Q,K,V通過(guò)參數(shù)矩陣映射一下卵牍,然后再做Attention,把這個(gè)過(guò)程重復(fù)h次,結(jié)果拼接起來(lái).

圖2

更準(zhǔn)確來(lái)說(shuō),Google所用的是Self Multi-Head Attention,也就是說(shuō)Multi-Head中每個(gè)Attention都是self-attention.

下面是Transformer的模型結(jié)構(gòu)圖:

圖3

Position Embedding

模型的第一部分是Position Embedding,使用Attention的弊端就是會(huì)丟失文本序列的語(yǔ)序信息,對(duì)于NLP中的任務(wù)來(lái)說(shuō),順序是很重要的信息,它代表著局部甚至是全局的結(jié)構(gòu),所以為了彌補(bǔ)這一缺陷,google在文本編碼部分使用了位置編碼,將文本的語(yǔ)序信息融入到文本向量中.

圖4

Encoder

接下來(lái)就是Encoder部分,輸入是經(jīng)過(guò)Position Embedding后的文本表示,encoder由N層相同的層組成,每一層分別由兩部分組成:第一部分是 multi-head self-attention,第二部分是position-wise feed-forward network,是一個(gè)全連接層,包含兩個(gè)線性變換和一個(gè)非線性函數(shù)(實(shí)際上就是ReLU),如圖5:

圖5

Decoder

和 encoder 類似,decoder 也是由N個(gè)相同的層組成,每一個(gè)層包括以下3個(gè)部分:第一個(gè)部分是 multi-head self-attention mechanism,第二部分是 multi-head context-attention mechanism,第三部分是一個(gè) position-wise feed-forward network.

同時(shí),在Encoder和Decoder的每個(gè)部分后面都會(huì)連接一個(gè)Layer normalization.

Layer normalization

Normalization有很多種,但是它們都有一個(gè)共同的目的,那就是把輸入轉(zhuǎn)化成均值為0方差為1的數(shù)據(jù).我們?cè)诎褦?shù)據(jù)送入激活函數(shù)之前進(jìn)行normalization(歸一化),因?yàn)槲覀儾幌M斎霐?shù)據(jù)落在激活函數(shù)的飽和區(qū).我們可能會(huì)對(duì)輸入數(shù)據(jù)進(jìn)行歸一化,但是經(jīng)過(guò)該網(wǎng)絡(luò)層的作用后,我們的數(shù)據(jù)已經(jīng)不再是歸一化的了.隨著這種情況的發(fā)展,數(shù)據(jù)的偏差越來(lái)越大,我的反向傳播需要考慮到這些大的偏差,這就迫使我們只能使用較小的學(xué)習(xí)率來(lái)防止梯度消失或者梯度爆炸.

Batch normalization和Layer normalization的區(qū)別是,BN是對(duì)一批數(shù)據(jù)進(jìn)行歸一化,而LN是對(duì)每一個(gè)樣本進(jìn)行歸一化.

最后將上述模塊組合到一起就是Transformer.

本文是作者的學(xué)習(xí)筆記,所以有些知識(shí)寫(xiě)的不是很詳細(xì),可以參考其他大佬文章:

蘇神:https://kexue.fm/archives/4765

簡(jiǎn)楓:https://zhuanlan.zhihu.com/p/47812375

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市倡勇,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌蠢莺,老刑警劉巖偎窘,帶你破解...
    沈念sama閱讀 222,729評(píng)論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異罕偎,居然都是意外死亡很澄,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,226評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門(mén)颜及,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)甩苛,“玉大人,你說(shuō)我怎么就攤上這事俏站⊙镀眩” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 169,461評(píng)論 0 362
  • 文/不壞的土叔 我叫張陵肄扎,是天一觀的道長(zhǎng)墨林。 經(jīng)常有香客問(wèn)我,道長(zhǎng)反浓,這世上最難降的妖魔是什么萌丈? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 60,135評(píng)論 1 300
  • 正文 為了忘掉前任,我火速辦了婚禮雷则,結(jié)果婚禮上辆雾,老公的妹妹穿的比我還像新娘。我一直安慰自己月劈,他們只是感情好度迂,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,130評(píng)論 6 398
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著猜揪,像睡著了一般惭墓。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上而姐,一...
    開(kāi)封第一講書(shū)人閱讀 52,736評(píng)論 1 312
  • 那天腊凶,我揣著相機(jī)與錄音,去河邊找鬼拴念。 笑死钧萍,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的政鼠。 我是一名探鬼主播风瘦,決...
    沈念sama閱讀 41,179評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼公般!你這毒婦竟也來(lái)了万搔?” 一聲冷哼從身側(cè)響起胡桨,我...
    開(kāi)封第一講書(shū)人閱讀 40,124評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎瞬雹,沒(méi)想到半個(gè)月后昧谊,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,657評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡挖炬,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,723評(píng)論 3 342
  • 正文 我和宋清朗相戀三年揽浙,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片意敛。...
    茶點(diǎn)故事閱讀 40,872評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡馅巷,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出草姻,到底是詐尸還是另有隱情钓猬,我是刑警寧澤,帶...
    沈念sama閱讀 36,533評(píng)論 5 351
  • 正文 年R本政府宣布撩独,位于F島的核電站敞曹,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏综膀。R本人自食惡果不足惜澳迫,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,213評(píng)論 3 336
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望剧劝。 院中可真熱鬧橄登,春花似錦、人聲如沸讥此。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,700評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)萄喳。三九已至卒稳,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間他巨,已是汗流浹背充坑。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,819評(píng)論 1 274
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留染突,地道東北人匪傍。 一個(gè)月前我還...
    沈念sama閱讀 49,304評(píng)論 3 379
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像觉痛,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子茵休,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,876評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容