傳送門：

作者：Bgg

系列一介紹了Seq2seq和 Attention model。這篇文章將重點擺在Google於2017年發表論文“Attention is all you need”中提出的 “”The transformer模型。”The transformer”模型中主要的概念有2項：1。 Self attention 2。 Multi-head，此外，模型更解決了傳統attention model中無法平行化的缺點，並帶來優異的成效。

前言

系列一中，我們學到attention model是如何運作的，缺點就是不能平行化，且忽略了輸入句中文字間和目標句中文字間的關係。

為了解決此問題，2017年，Self attention誕生了。

Self Attention

Self attention是Google在 “Attention is all you need”論文中提出的”The transformer”模型中主要的概念之一，我們可以把”The transformer”想成是個黑盒子，將輸入句輸入這個黑盒子，就會產生目標句。

最特別的地方是，”The transformer”完全捨棄了RNN、CNN的架構。

The transformer

“The transformer”和Seq2seq模型皆包含兩部分：Encoder和Decoder。比較特別的是，”The transformer”中的Encoder是由6個Encoder堆積而成（paper當中N=6），Deocder亦然，這和過去的attention model只使用一個encoder/decoder是不同的。

Query, Key, Value

進入”The transformer”前，我們重新複習attention model，attention model是從輸入句產生h1，h2，h…。hm的hidden state，透過attention score α 乘上input 的序列加權求和得到Context vector c_{i}，有了context vector和hidden state vector，便可計算目標句。換言之，就是將輸入句作為input而目標句作為output。

如果用另一種說法重新詮釋：

輸入句中的每個文字是由一系列成對的 <地址Key， 元素Value>所構成，而目標中的每個文字是Query，那麼就可以用Key， Value， Query去重新解釋如何計算context vector，透過計算Query和各個Key的相似性，得到每個Key對應Value的權重係數，權重係數代表訊息的重要性，亦即attention score；Value則是對應的訊息，再對Value進行加權求和，得到最終的Attention/context vector。

筆者認為這概念非常創新，特別是從attention model到”The transformer”間，鮮少有論文解釋這種想法是如何連結的，間接導致”attention is all you need”這篇論文難以入門，有興趣可以參考key、value的起源論文 Key-Value Memory Networks for Directly Reading Documents。

在NLP的領域中，Key， Value通常就是指向同一個文字隱向量（word embedding vector）。

有了Key， Value， Query的概念，我們可以將attention model中的Decoder公式重新改寫。1。 score e_{ij}= Similarity（Query， Key_{i}），上一篇有提到3種計算權重的方式，而我們選擇用內積。2。 有了Similarity（Query， Key_{i}），便可以透過softmax算出Softmax（sim_{i}）=a_{i}，接著就可以透過attention score a_{i}乘上Value_{i}的序列和加總所得 = Attention（Query， Source），也就是context/attention vector。

在瞭解Key， Value， Query的概念後，我們可以進入”the transformer”的世界了。

Scaled Dot-Product Attention

如果仔細觀察，其實“The transformer”計算 attention score的方法和attention model如出一轍，但”The transformer”還要除上分母=根號d_{k}，目的是避免內積過大時，softmax產出的結果非0即1。

Three kinds of Attention

“The transformer”在計算attention的方式有三種，1。 encoder self attention，存在於encoder間。 2。 decoder self attention，存在於decoder間，3。 encoder-decoder attention， 這種attention演算法和過去的attention model相似。

接下來我們透過encoder和decoder兩部份，來分別介紹encoder/decoder self attention。

Encoder

我們將”The transformer”模型分為左右兩部分，左邊是Encoder，如前述，”Attention is all you need”當中N=6，代表Encoder部分是由6個encoder堆積而成的。其中在計算encoder self attention時，更透過multi-head的方式去學習不同空間的特徵，在後續內容會探討multi-head的部分。

如何計算encoder self attention?

我們先用微觀的角度來觀察Attention（q_{t}， K， V），也就是輸入句中的某個文字，再將所有輸入句中的文字一次用矩陣Attention（Q，K，V）來解決。

第一步是創造三個encoder的輸入向量Q，K，V，舉例來說，“Are you very big？”中的每一個字的隱向量都有各自的Q，K，V，接著我們會乘上一個初始化矩陣，論文中輸出維度d_{model}=512。

第二步是透過內積來計算score ，類似attention model 中的score e_{ij}。假設我們在計算第一個字”Are”的self-attention，我們可能會將輸入句中的每個文字”Are”， ”you”， ‘very’， ‘big’分別和”Are”去做比較，這個分數決定了我們在encode某個特定位置的文字時，應該給予多少注意力（attention）。所以當我們在計算#位置1的self-attention，第一個分數是q1、k1的內積 （“Are vs Are”），第二個分數則是q1、k2 （“Are vs you”），以此類推。

第三步是將算出的分數除以根號d_{k}，論文當中假定d_{k}=64，接著傳遞至exponential函式中並乘上1/Z，其實這結果就是attention/softmax score，我們可以把1/Z看成是softmax時，所除上的exponential總和，最終的總分數就是attention score，代表我們應該放多少注意力在這個位置上，也就是attention model的概念，有趣的是，怎麼算一定都會發現自己位置上的分數永遠最高，但有時候可以發現和其他位置的文字是有關聯的。

最後一步就是把attention score再乘上value，然後加總得到attention vector（z_{I}），這就是#位置1的attention vector z1，概念都和以往的attention model類似。

以上就是self-attention的計算，算出來的向量我們可以往前傳遞至feed-forward neural network，實際的運作上，是直接將每個文字同時處理，因此會變成一個矩陣，而非單一詞向量，計算後的結果attention vector也會變成attention matrix Z。

Multi-head attention

有趣的是，如果我們只計算一個attention，很難捕捉輸入句中所有空間的訊息，為了最佳化模型，論文當中提出了一個新穎的做法：Multi-head attention，概念是不要只用d_{model}維度的key， value， query們做單一個attention，而是把key， value， query們線性投射到不同空間h次，分別變成維度d_{q}， d_{k} and d_{v}，再各自做attention，其中，d_{k}=d_{v}=d_{model}/h=64，概念就是投射到h個head上。

此外，”The transformer”用了8個attention head，所以我們會產生8組encoder/decoder，每一組都代表將輸入文字的隱向量投射到不同空間，如果我們重複計算剛剛所講的self-attention，我們就會得到8個不同的矩陣Z，可是呢，feed-forward layer期望的是一個矩陣而非8個，所以我們要把這8個矩陣併在一起，透過乘上一個權重矩陣，還原成一個矩陣Z。

Residual Connections

Encoder還有一個特別的架構，Multihead-attention完再接到feed-forward layer中間，還有一個sub-layer，會需要經過residual connection和layer normalization。

Residual connection 就是構建一種新的殘差結構，將輸出改寫成和輸入的殘差，使得模型在訓練時，微小的變化可以被注意到，這種架構很常用在電腦視覺（computer vision），有興趣可以參考神人Kaiming He的Deep Residual Learning for Image Recognition。

Layer normalization則是在深度學習領域中，其中一種正規化方法，最常和batch normalization進行比較，layer normalization的優點在於它是獨立計算的，也就是針對單一樣本進行正規化，batch normalization則是針對各維度，因此和batch size有所關聯，可以參考layer normalization。

Position-wise Feed-Forward Networks

Encoder/Decoder中的attention sublayers都會接到一層feed-forward networks（FFN）：兩層線性轉換和一個RELU，論文中是根據各個位置（輸入句中的每個文字）分別做FFN，舉例來說，如果輸入文字是，代表文字共有m個。

其中，每個位置進行相同的線性轉換，這邊使用的是convolution1D，也就是kernel size=1，原因是convolution1D才能保持位置的完整性，可參考CNN，模型的輸入/輸出維度d_{model}=512，但中間層的維度是2048，目的是為了減少計算量，這部分一樣參考神人Kaiming He的Deep Residual Learning for Image Recognition。

Positional Encoding

和RNN不同的是，multi-head attention不能學到輸入句中每個文字的位置，舉例來說，“Are you very big？” and “Are big very you？”，對multi-head而言，是一樣的語句，因此，”The transformer”透過positional encoding，來學習每個文字的相對/絕對位置，最後再和輸入句中文字的隱向量相加。

論文使用了方程式PE（pos， 2i）=sin（pos/10000^{2i/d_{model}}）、PE（pos， 2i+1）=cos（pos/10000^{2i/d_{model}}）來計算positional encoding，pos代表的是位置，i代表的是維度，偶數位置的文字會透過sin函式進行轉換，奇數位置的文字則透過cos函式進行轉換，藉由三角函式，可以發現positional encoding 是個有週期性的波長；舉例來說，［pos+k］可以寫成PE［pos］的線性轉換，使得模型可以學到不同位置文字間的相對位置。

如下圖，假設embedding 的維度為4：

每列對應的是經過positional encoding後的向量，以第一列而言，就是輸入句中第一個文字隱向量和positioncal encoding後的向量和，所以每列維度都是d_{model}，總共有pos列，也就是代表輸入句中有幾個文字。

下圖為含有20字的輸入句，文字向量維度為512，可以發現圖層隨著位置產生變化。

Encoder內容告一段落，接下來讓我們看Decoder的運作模式。

Decoder

Masked multi-head attention

Decoder的運作模式和Encoder大同小異，也都是經過residual connections再到layer normalization。Encoder中的self attention在計算時，key， value， query都是來自encoder前一層的輸出，Decoder亦然。

不同的地方是，為了避免在解碼的時後，還在翻譯前半段時，就突然翻譯到後半段的句子，會在計算self-attention時的softmax前先mask掉未來的位置（設定成-∞）。這個步驟確保在預測位置i的時候只能根據i之前位置的輸出，其實這個是因應Encoder-Decoder attention 的特性而做的配套措施，因為Encoder-Decoder attention可以看到encoder的整個句子，

Encoder-Decoder Attention

“Encoder-Decoder Attention”和Encoder/Decoder self attention不一樣，它的Query來自於decoder self-attention，而Key、Value則是encoder的output。

至此，我們講完了三種attention，接著看整體運作模式。

從輸入文字的序列給Encoder開始，Encoder的output會變成attention vectors的Key、Value，接著傳送至encoder-decoder attention layer，幫助Decoder該將注意力擺在輸入文字序列的哪個位置進行解碼。

The Final Linear and Softmax Layer

Decoder最後會產出一個向量，傳到最後一層linear layer後做softmax。Linear layer只是單純的全連線層網路，並產生每個文字對應的分數，softmax layer會將分數轉成機率值，最高機率的值就是在這個時間順序時所要產生的文字。

Why self attention?

過去，Encoder和Decoder的核心架構都是RNN，RNN把輸入句的文字序列 （x1…， xn）一個個有序地轉成hidden encodings （h1…hn），接著在產出目標句的文字序列（y1…yn）。然而，RNN的序列性導致模型不可能平行計算，此外，也導致計算複雜度很高，而且，很難捕捉長序列中詞語的依賴關係（long-range dependencies）。

透過 “the transformer”，我們可以用multi-head attention來解決平行化和計算複雜度過高的問題，依賴關係也能透過self-attention中詞語與詞語比較時，長度只有1的方式來克服。

Future

在金融業，企業可以透過客戶歷程，深入瞭解客戶行為企業，進而提供更好的商品與服務、提升客戶滿意度，藉此創造價值。然而，和以往的基本特徵不同，從序列化的客戶歷程資料去萃取資訊是非常困難的，在有了self-attention的知識後，我們可以將這種處理序列資料的概念應用在複雜的客戶歷程上，探索客戶潛在行為背後無限的商機。

筆者也推薦有興趣鑽研self-attention概念的讀者，可以參考阿里巴巴所提出的論文ATrank，此篇論文將self-attention應用在產品推薦上，並帶來更好的成效。

參考

［1］ Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translationr。 arXiv：1406。1078v3 （2014）。

［2］ Sequence to Sequence Learning with Neural Networks。 arXiv：1409。3215v3 （2014）。

［3］ Neural machine translation by joint learning to align and translate。 arXiv：1409。0473v7 （2016）。

［4］ Effective Approaches to Attention-based Neural Machine Translation。 arXiv：1508。0402v5 （2015）。

［5］ Convolutional Sequence to Sequence learning。 arXiv：1705。03122v3（2017）。

［6］ Attention Is All You Need。 arXiv：1706。03762v5 （2017）。

［7］ ATRank： An Attention-Based User Behavior Modeling Framework for Recommendation。 arXiv：1711。06632v2 （2017）。

［8］ Key-Value Memory Networks for Directly Reading Documents。 arXiv：1606。03126v2 （2016）。

［9］ Show， Attend and Tell： Neural Image Caption Generation with Visual Attention。 arXiv：1502。03044v3 （2016）。

［10］ Deep Residual Learning for Image Recognition。 arXiv：1512。03385v1 （2015）。

［11］ Layer Normalization。 arXiv：1607。06450v1 （2016）。

https：//

medium。com/@bgg/seq2seq

-pay-attention-to-self-attention-part-1-d332e85e9aad

推薦閱讀

1、經過多年交易之後你應該學到的東西（深度分享）

2、監督學習標籤在股市中的應用（程式碼+書籍）

3、2018年學習Python最好的5門課程

4、全球投行頂尖機器學習團隊全面分析

5、使用Tensorflow預測股票市場變動

6、被投資圈殘害的清北復交學生們

知識在於分享

在量化投資的道路上

你不是一個人在戰鬥