2018年，對(duì)于NLP領(lǐng)域來(lái)說(shuō)是最讓人激動(dòng)的一年柠逞。先后誕生的ELMo套像、GPT、BERT在預(yù)訓(xùn)練語(yǔ)言模型方面的成功給NLP領(lǐng)域的研究帶來(lái)了新的姿勢(shì)乖订。特別是BERT（Bidirectional Encoder Representations from Transformers）扮饶，在11項(xiàng)自然語(yǔ)言任務(wù)上刷新了最好成績(jī)，同時(shí)BERT論文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》獲得NLP領(lǐng)域頂會(huì)NAACL 2019的最佳論文獎(jiǎng)乍构。
BERT拋棄了傳統(tǒng)的RNN和CNN甜无，主要結(jié)構(gòu)是多層Transformer，其中Self Attention機(jī)制將任意位置的兩個(gè)詞之間距離轉(zhuǎn)換成1哥遮，有效解決了長(zhǎng)期依賴問(wèn)題岂丘。
原論文中提到兩種不同規(guī)模的BERT：BERTbase 和BERT large。其中眠饮，base版本有12個(gè)隱藏層奥帘，768個(gè)隱層單元，每個(gè)Attention有12個(gè)頭仪召，參數(shù)量達(dá)到110M寨蹋；large版本有24個(gè)隱藏層，1024個(gè)隱藏層扔茅，每個(gè)Attention有16個(gè)頭已旧，參數(shù)量更是達(dá)到了340M。其網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示：
與之前的預(yù)訓(xùn)練模型一樣咖摹，BERT也分兩個(gè)階段: pre-training和fine-tuning评姨。
pre-training
BERT采用兩種無(wú)監(jiān)督任務(wù)來(lái)做預(yù)訓(xùn)練，一個(gè)是token-level的Masked Language Model萤晴，另一個(gè)是sentence-level的Next sentence Prediction吐句。兩個(gè)任務(wù)同時(shí)進(jìn)行，因此BERT的損失函數(shù)是兩者損失函數(shù)疊加店读。
1嗦枢、Masked Language Model
在說(shuō)MLM之前，我們需要意識(shí)到一個(gè)問(wèn)題屯断。語(yǔ)言模型如果使用雙向的文虏，會(huì)出現(xiàn)數(shù)據(jù)泄露問(wèn)題侣诺。也就是說(shuō)，模型可以間接知道要預(yù)測(cè)的詞氧秘。這也是ELMo使用兩個(gè)獨(dú)立的雙向模型的原因年鸳。
MLM的提出正是為了解決這個(gè)問(wèn)題，具體做法是隨機(jī)遮蔽輸入序列中15%的單詞作為訓(xùn)練樣本：
- 80%用[MASK]代替丸相；
- 10%用隨機(jī)詞代替搔确；
- 10%保持不變；
這里只有15%的詞被遮蔽原因是性能開(kāi)銷灭忠，雙向編碼器比單向編碼器訓(xùn)練要慢膳算。只選其中的80%做mask，是因?yàn)閙ask標(biāo)記只存在于預(yù)訓(xùn)練階段弛作，在下游任務(wù)中輸入并沒(méi)有mask涕蜂。10%用隨機(jī)詞，10%保持不變映琳，原因是讓編碼器不知道哪些詞需要預(yù)測(cè)机隙，哪些詞是錯(cuò)誤的，因此被迫需要學(xué)習(xí)每一個(gè)詞的表示向量刊头。
2黍瞧、Next Sentence Prediction
預(yù)訓(xùn)練一個(gè)二分類模型來(lái)學(xué)習(xí)句子之間的關(guān)系，預(yù)測(cè)下一個(gè)句子的方法對(duì)學(xué)習(xí)句子間關(guān)系很有幫助原杂。具體做法：正樣本印颤，給定句子A和B，其中B是A在實(shí)際語(yǔ)境中的下一句穿肄； 負(fù)樣本年局，句子B是語(yǔ)料庫(kù)中隨機(jī)選擇的。通過(guò)兩個(gè)特定的token [CLS]和[SEP]來(lái)串接兩個(gè)句子咸产。 正負(fù)樣本各占一半矢否。
輸入
BERT的輸入編碼向量(長(zhǎng)度512)是由三個(gè)特征向量疊加的。
1脑溢、Input Embeddings
每個(gè)輸入序列的第一個(gè)token [CLS]專門用來(lái)分類僵朗，利用此位置的最后輸出作為分類任務(wù)的輸入embedding。在預(yù)訓(xùn)練時(shí)屑彻，[CLS]不參與mask验庙，因而該位置面向整個(gè)序列的所有position做attention，[CLS]位置的輸出足夠表達(dá)整個(gè)句子的信息社牲，類似一個(gè)global feature粪薛。單詞token對(duì)應(yīng)的embedding更關(guān)注該token的語(yǔ)義語(yǔ)法及上下文信息表達(dá)，類似一個(gè)local feature搏恤。
2违寿、Position Embeddings
由于transformer無(wú)法獲得字的位置信息湃交，BERT也加入了絕對(duì)位置編碼，但和transformer不同的是：transformer的位置編碼是通過(guò)sin和cos構(gòu)造出來(lái)的藤巢，這里Position Embeddings直接采用類似word embedding的方式直接獲得位置編碼搞莺。
3、Segment Embeddings
在預(yù)訓(xùn)練的句子對(duì)預(yù)測(cè)任務(wù)及問(wèn)答菌瘪、相似匹配等任務(wù)中腮敌，需要對(duì)前后句子做區(qū)分。將句對(duì)輸入同一序列俏扩，以特殊標(biāo)記 [SEP] 分割，同時(shí)對(duì)第一個(gè)句子的每個(gè)token添加Sentence A Embedding弊添；第二個(gè)句子添加Sentence B Embedding录淡，實(shí)驗(yàn)中讓EA=1，EB=0油坝。
Fine-tune
針對(duì)不同任務(wù)嫉戚，BERT采用不同部分的輸出做預(yù)測(cè)。由上圖可以知道澈圈，BERT有兩種輸出：Pooler output（對(duì)應(yīng)[CLS]位置的輸出）和 Sequence output（對(duì)應(yīng)的是序列中所有詞的最后一層hidden輸出）彬檀。
1、分類/回歸任務(wù)（利用Pooler output）
- Single sentence Classification tasks瞬女，例如：文本分類窍帝，我想聽(tīng)音樂(lè)，分到音樂(lè)這個(gè)domain）诽偷；
- Sentence Pair Classification tasks坤学，例如：自然語(yǔ)言推斷任務(wù)（NLI），給定前提报慕，推斷假設(shè)是否成立深浮；
- 回歸任務(wù)，回歸其實(shí)是分類的一種特殊形式眠冈，最后輸出的是一個(gè)數(shù)值而不是具體的某個(gè)類別概率飞苇；例如：文本相似度，可以判斷兩個(gè)句子是不是類似蜗顽，得到的具體分?jǐn)?shù)布卡。
2、序列任務(wù)（利用Sequence output）
- 命名實(shí)體識(shí)別（NER）诫舅；
- 完形填空（Cloze task）羽利，其實(shí)這就是BERT預(yù)訓(xùn)練的一種任務(wù)；
- SQuAD（Standford Question Answering Dataset）task刊懈，SQuAD任務(wù)輸入是D这弧、Q娃闲，其實(shí)D是該篇文章，Q是問(wèn)題匾浪，返回的結(jié)果是答案開(kāi)始詞的位置s和結(jié)束詞的位置e皇帮；
Experiments
說(shuō)了這么多，我們來(lái)看看當(dāng)初霸榜的BERT與先前的模型對(duì)比成績(jī)到底如何:
最后
BERT采用Pre-training和Fine-tuning兩階段訓(xùn)練任務(wù)蛋辈，在Pre-training階段使用多層雙向transformer属拾，并采用Masked LM 和 Next Sentence Prediction兩種訓(xùn)練任務(wù)解決token-level和sentence-level問(wèn)題，為下游任務(wù)提供了一個(gè)通用模型框架冷溶。
在NLP領(lǐng)域渐白，BERT具有里程碑意義，對(duì)后續(xù)的研究產(chǎn)生了深遠(yuǎn)影響逞频。
但是我們站在當(dāng)前時(shí)間點(diǎn)回頭看纯衍，BERT自身也存在一些缺點(diǎn)，后續(xù)文章中會(huì)介紹到BER的缺點(diǎn)和優(yōu)化苗胀。
參考：
