Transformer-xl

原文：https://blog.csdn.net/Magical_Bubble/article/details/89060213

循環(huán)機制

訓練階段，每個隱層接收兩個輸入

該段下層隱藏層的輸出藤违，與原始Transformer相同
前段下層隱藏層的輸出项秉，使其建模長期依賴關系

$\widetilde{h}_{\tau + 1} ^ {n-1} = [SG(h_{\tau}^{n-1}) \circ h_{\tau + 1} ^{n-1}] \tag{extened context}$

$\mathbf{q}_{\tau+1}^{n}, \mathbf{k}_{\tau+1}^{n}, \mathbf{v}_{\tau+1}^{n}=\mathbf{h}_{\tau+1}^{n-1} \mathbf{W}_{q}^{\top}, \widetilde{\mathbf{h}}_{\tau+1}^{n-1} \mathbf{W}_{k}^{\top}, \widetilde{\mathbf{h}}_{\tau+1}^{n-1} \mathbf{W}_{v}^{\top}$

$\mathbf{h}_{\tau+1}^{n}=\text { Transformer-Layer }\left(\mathbf{q}_{\tau+1}^{n}, \mathbf{k}_{\tau+1}^{n}, \mathbf{v}_{\tau+1}^{n}\right)$

相對位置編碼

若是每個段繼續(xù)使用相同的位置編碼扣溺，比如段1的編碼[0, 1, 2]澡为，段2的編碼也是[0, 1, 2]懈词，則組合后谴供，位置編碼變成了[0, 1, 2, 0, 1, 2]脂信，而每個位置的語義在整個序列中應當是不一致的。

在原Transformer中漠酿，計算查詢 $q_i^T$ 與鍵 $k_j$ 之間的注意力方式為：

$\mathbf{A}_{i, j}^{\mathrm{abs}}=q_{i}^{\top} k_{j} \\ =\left(W_{q}\left(E_{x_{i}}+U_{i}\right)\right)^{T} \cdot\left(W_{k}\left(E_{x_{j}}+U_{j}\right)\right) \\ =\underbrace{\mathbf{E}_{x_{i}}^{\top} \mathbf{W}_{q}^{\top} \mathbf{W}_{k} \mathbf{E}_{x_{j}}}_{(a)}+\underbrace{\mathbf{E}_{x_{i}}^{\top} \mathbf{W}_{q}^{\top} \mathbf{W}_{k} \mathbf{U}_{j}}_{(b)}+\underbrace{\mathbf{U}_{i}^{\top} \mathbf{W}_{q}^{\top} \mathbf{W}_{k} \mathbf{E}_{x_{j}}}_{(c)}+\underbrace{\mathbf{U}_{i}^{\top} \mathbf{W}_{q}^{\top} \mathbf{W}_{k} \mathbf{U}_{j}}_{(d)}$

其中冯凹， $E_{x_i}$ 是詞 $i$ 的詞向量， $U_i$ 是對應的位置向量炒嘲。

而在Transformer-XL中

$\mathbf{A}_{i, j}^{\mathrm{rel}}=\underbrace{\mathbf{E}_{x_{i}}^{\top} \mathbf{W}_{q}^{\top} \mathbf{W}_{k, E} \mathbf{E}_{x_{j}}}_{(a)}+\underbrace{\mathbf{E}_{x_{i}}^{\top} \mathbf{W}_{q}^{\top} \mathbf{W}_{k, R} \mathbf{R}_{i-j}}_{(b)}+\underbrace{u^{\top} \mathbf{W}_{k, E} \mathbf{E}_{x_{j}}}_{(c)}+\underbrace{v^{\top} \mathbf{W}_{k, R} R_{i-j}}_{(d)}$

對比來看宇姚，主要有三點變化：

在(b)和(d)這兩項中，將所有絕對位置向量 $U_j$ 都轉為相對位置向量 $R_{i-j}$ 夫凸，與Transformer一樣浑劳，這是一個固定的編碼向量，不需要學習夭拌。此外魔熏，與其他相對位置編碼方案不同衷咽，該公式使用具有可學習變換的固定嵌入，而不是可學習嵌入蒜绽，因此更適用于在測試時使用較長的序列镶骗。
在(c)這一項中，將查詢的 $U_i^TW_q^T$ 向量轉為一個需要學習的參數(shù)向量 $u$ 躲雅，因為在考慮相對位置的時候鼎姊，不需要查詢的絕對位置 $i$ ，因此對于任意的 $i$ 相赁，都可以采用同樣的向量相寇。同理，在(d)這一項中钮科，也將查詢的 $U_i^TW_q^T$ 向量轉為另一個需要學習的參數(shù)向量 $v$ 唤衫。
將鍵的權重 $W_k$ 變換矩陣轉為 $W_{k,E}$ 和 $W_{k,R}$ 分別作為content-based key vectors和location-based key vectors。
從另一個角度來解讀這個公式的話绵脯，可以將attention的計算分為如下四個部分：

a. 基于內(nèi)容的“尋址”佳励，即沒有添加原始位置編碼的原始分數(shù)。
b. 基于內(nèi)容的位置偏置蛆挫，即相對于當前內(nèi)容的位置偏差植兰。
c. 全局的內(nèi)容偏置，用于衡量key的重要性璃吧。
d. 全局的位置偏置，根據(jù)query和key之間的距離調(diào)整重要性废境。

整體計算過程

$For \ n=1, \ldots, N : \quad \tilde{\mathbf{h}}_{\tau}^{n-1}=\left[\mathrm{SG}\left(\mathbf{m}_{\tau}^{n-1}\right) \circ \mathbf{h}_{\tau}^{n-1}\right]$

$\mathbf{q}_{\tau}^{n}, \mathbf{k}_{\tau}^{n}, \mathbf{v}_{\tau}^{n}=\mathbf{h}_{\tau}^{n-1} \mathbf{W}_{q}^{n \top}, \widetilde{\mathbf{h}}_{\tau}^{n-1} \mathbf{W}_{k, E}^{n}, \mathbf{\tilde { h }}_{\tau}^{n-1} \mathbf{W}_{v}^{n \top}$

$\mathbf{A}_{\tau, i, j}^{n}={\mathbf{q}_{\tau, i}^{n}}^T\mathbf{k}_{\tau, j}^{n}+{\mathbf{q}_{\tau, i}^{n}}^T\mathbf{W}_{k, R}^{n} \mathbf{R}_{i-j}+u^{\top} \mathbf{k}_{\tau, j}+v^{\top} \mathbf{W}_{k, R}^{n} \mathbf{R}_{i-j}$

$\mathbf{a}_{\tau}^{n}=\operatorname{Masked}-\operatorname{Softmax}\left(\mathbf{A}_{\tau}^{n}\right) \mathbf{v}_{\tau}^{n}$

$\mathbf{o}_{\tau}^{n}=\text { LayerNorm (Linear }\left(\mathbf{a}_{\tau}^{n}\right)+\mathbf{h}_{\tau}^{n-1} )$

$\mathbf{h}_{\tau}^{n}=\text { Positionwise-Feed-Forward }\left(\mathbf{o}_{\tau}^{n}\right)$

最后編輯于：2019.07.11 15:16:55

?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者