在「拆 Transformer 系列一：Encoder-Decoder 模型架構(gòu)詳解」中有簡(jiǎn)單介紹 Attention韭脊，Self-Attention 以及 Multi-Head Attention痛侍，都只是在直觀上介紹 Attention 的作用，如何能夠像人的視覺(jué)注意力機(jī)制那樣判没，記住關(guān)鍵信息，并且也介紹了 Self-Attention 機(jī)制如何能通過(guò)對(duì)自身注意力加權(quán)來(lái)學(xué)習(xí)句子內(nèi)部結(jié)構(gòu)以及一些語(yǔ)法特征瀑梗。

現(xiàn)在业汰，我還要打算繼續(xù)詳細(xì)講解 Attention，主要講解 Transformer 中的 Multi-Head Attention 如何實(shí)現(xiàn)饿这？通過(guò)圖解加說(shuō)明來(lái)講解浊伙。

Self-Attention

上一節(jié)我們講到，Self-Attention 的 Query=Key=Value长捧，即 Q嚣鄙，K，V 三個(gè)矩陣都來(lái)自同一個(gè)輸入串结，而 Attention 計(jì)算過(guò)程如何呢哑子？

image

Attention 機(jī)制實(shí)質(zhì)上就是一個(gè)尋址過(guò)程舅列，通過(guò)給定一個(gè)任和務(wù)相關(guān)的查詢(xún) Query 向量 Q，通過(guò)計(jì)算與 Key 的注意力分布并附加在 Value 上卧蜓，從而計(jì)算 Attention Value帐要，這個(gè)過(guò)程實(shí)際上是 Attention 緩解神經(jīng)網(wǎng)絡(luò)復(fù)雜度的體現(xiàn)，不需要將所有的 N 個(gè)輸入都輸入到神經(jīng)網(wǎng)絡(luò)進(jìn)行計(jì)算弥奸，而是選擇一些與任務(wù)相關(guān)的信息輸入神經(jīng)網(wǎng)絡(luò)榨惠，與 RNN 中的門(mén)控機(jī)制思想類(lèi)似。

Attention 機(jī)制計(jì)算過(guò)程大致可以分成三步：

① 信息輸入：將 Q盛霎，K赠橙，V 輸入模型

• 用 表示輸入權(quán)重向量

② 計(jì)算注意力分布 α：通過(guò)計(jì)算 Q 和 K 進(jìn)行點(diǎn)積計(jì)算相關(guān)度，并通過(guò) softmax 計(jì)算分?jǐn)?shù)

• 另 愤炸，通過(guò) softmax 計(jì)算注意力權(quán)重期揪，
• 我們將 稱(chēng)之為注意力概率分布， 為注意力打分機(jī)制规个，常見(jiàn)的有如下幾種：
  • 加性模型：
  • 點(diǎn)積模型：
  • 縮放點(diǎn)積模型：
  • 雙線性模型：

③ 信息加權(quán)平均：注意力分布 來(lái)解釋在上下文查詢(xún) 時(shí)横侦，第 個(gè)信息受關(guān)注程度。

上面講述了 Attention 的通用計(jì)算過(guò)程绰姻，也講述了注意力分?jǐn)?shù)計(jì)算的多種選擇枉侧，那么在 Transformer 中，采用哪種呢狂芋？答案就是：Scaled Dot-Product Attention

image

上圖所示就是 Scaled Dot-Product Attention 的簡(jiǎn)圖榨馁，可以看到輸入的 Q，K帜矾，V 都相同翼虫。

image

可以看到 Scaled Dot-Product Attention 有個(gè)縮放因子 ，為什么要加這個(gè)縮放因子呢屡萤？

如果 很小珍剑， additive attention 和 dot-product attention 相差不大。

但是如果 很大死陆，點(diǎn)乘的值很大招拙，如果不做 scaling，結(jié)果就沒(méi)有 additive attention 好措译。

另外别凤，點(diǎn)乘結(jié)果過(guò)大，使得經(jīng)過(guò) softmax 之后的梯度很小领虹，不利于反向傳播规哪，所以對(duì)結(jié)果進(jìn)行 scaling。

我們?cè)谏弦还?jié)中簡(jiǎn)單提到 Self-Attention 能夠捕獲長(zhǎng)距離依賴(lài)塌衰，并且能夠?qū)W習(xí)到句子內(nèi)部結(jié)構(gòu)及語(yǔ)法诉稍，那么 Self-Attention 的計(jì)算流程又是如何呢蝠嘉？

Step 1

首先給出信息輸入：用 表示 個(gè)輸入信息，通過(guò)線性變換得到 Q杯巨，K是晨，V 三個(gè)向量的初始表示：

image

Step 2

計(jì)算自注意力得分，假設(shè)我們正在計(jì)算下圖中的第一個(gè)單詞 “ Thinking” 的自注意力舔箭，則我們需要計(jì)算 “Thinking” 這個(gè)單詞對(duì)句子中每個(gè)單詞的評(píng)分罩缴。分?jǐn)?shù)決定了當(dāng)我們?cè)谀硞€(gè)位置對(duì)單詞進(jìn)行編碼時(shí)，要在輸入句子的其他部分上投入多少注意力层扶。

通過(guò)將 Q 和 各個(gè)單詞的關(guān)鍵字向量 K 進(jìn)行點(diǎn)積計(jì)算分?jǐn)?shù)箫章，因此，如果我們正在處理位置 #1 上的單詞的自我注意镜会，則第一個(gè)分?jǐn)?shù)將是 和 的點(diǎn)積檬寂。第二個(gè)分?jǐn)?shù)是 和 的點(diǎn)積。

image

Step 3

對(duì) Step 2 中計(jì)算的分?jǐn)?shù)進(jìn)行 Scale戳表，這里通過(guò)除以 8 ( 論文中 桶至，這可以讓模型有更穩(wěn)定的梯度，默認(rèn)值是 64匾旭，也可以是其它值 )镣屹，將結(jié)果進(jìn)行softmax 歸一化。

image

Step 4

利用得分分別乘以 后得到一個(gè)加權(quán)后的值价涝，將這些值加起來(lái)得到 女蜈。這就是這一層的輸出，仔細(xì)感受一下色瘩，用 去計(jì)算一個(gè) 對(duì) 的權(quán)重，用權(quán)重乘以 的 得到加權(quán)后的 的 居兆，最后求和得到針對(duì)各個(gè)單詞的輸出 覆山。

image

多頭注意力機(jī)制

image

論文中表明，將模型分為多個(gè)頭泥栖，形成多個(gè)子空間簇宽，可以讓模型去關(guān)注不同方面的信息。上圖中Multi-Head Attention 就是將 Scaled Dot-Product Attention 過(guò)程做 H 次聊倔，再把輸出合并起來(lái)晦毙。

多頭注意力機(jī)制的公式如下：

這里，我們假設(shè)

① 輸入句子 “tinking machine”

② 將句子進(jìn)行 Tokenize 轉(zhuǎn)換成 Word Embedding X

③ 將 X 切分成 8 份耙蔑，并與權(quán)重 相乘，構(gòu)成輸入向量 孤荣，形成

④ 計(jì)算 Attention 權(quán)重矩陣甸陌，须揣，最后將每個(gè) 合并形成

⑤ 最后將 8 個(gè)頭的結(jié)果 合并 ，點(diǎn)乘權(quán)重 钱豁，形成

如下面可以看到將 X 有很多的矩陣 耻卡，

image

在 Transformer 中，Encoder 的輸出會(huì)作為 Decoder 的輸入牲尺，Encoder 的輸出是 K卵酪，V，Decoder 的上一層輸入的 Q谤碳。

image

總結(jié)

Transformer 用 自注意力機(jī)制的原因在上文有提到過(guò)溃卡，注意力機(jī)制的 Transformer 模型在機(jī)器翻譯任務(wù)中優(yōu)于 RNN。利用多頭注意力擴(kuò)展了模型集中于不同位置的能力蜒简，因此也賦予 Attention 多種子表達(dá)方式瘸羡。

歡迎關(guān)注個(gè)人公眾號(hào)學(xué)習(xí)，交流

隨時(shí)學(xué)丫