引言
自從Bert被提出來后石挂，后續(xù)的研究者大多基于bert進(jìn)行改造博助，提升預(yù)訓(xùn)練語言模型性能，從而提高下游任務(wù)的性能痹愚。比如ERINE富岳、BERT_WWM蛔糯、MASS、MT-DNN窖式、RoBERT等等蚁飒。從GLUE榜上我們可以看到，似乎現(xiàn)在的語言模型有越來越大的趨勢(shì)萝喘，雖然我們的訓(xùn)練資源也是從GPU單卡到GPU多卡淮逻，到現(xiàn)在TPU，但不是每個(gè)公司都這么有錢阁簸，特別對(duì)個(gè)人爬早，有可能就是一塊卡，怎么樣在資源有限的情況下启妹，玩起來這些高大上的模型了筛严？我們知道bert的base版本12層，參數(shù)量接近110M饶米，這樣大的模型在線上部署的時(shí)候效果是怎么樣的桨啃？下表是在linux環(huán)境下基于GTX 1080運(yùn)行結(jié)果。
| 環(huán)境 | 序列長(zhǎng)度 | 請(qǐng)求次數(shù) | 總時(shí)間(s) | 平均耗時(shí)(ms) |
|---|---|---|---|---|
| GPU+checkpoint | 128 | 10000 | 135.6 | 13.56 |
| GPU+checkpoint | 12 | 1000 | 10.3 | 10.3 |
| CPU+checkpoint | 128 | 1000 | 212 | 212 |
| CPU+checkpoint | 12 | 1000 | 83 | 83 |
| CPU+tfserving | 128 | 1000 | 351 | 351 |
- 我們可以看到序列長(zhǎng)度越短咙崎，推斷時(shí)間也越短优幸；
- GPU的推斷性能遠(yuǎn)大于cpu；
- 基于tfserving的推斷褪猛，因?yàn)槭腔趃rpc遠(yuǎn)程調(diào)用网杆，在服務(wù)啟動(dòng)和調(diào)用上會(huì)帶來一定的耗時(shí)。那么有沒有一種壓縮版的bert伊滋，可以提高線下訓(xùn)練和線上推斷的性能呢碳却？下面這篇論文可以提供一種解決方案。
ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS
Google 201909發(fā)表
目錄
1. 摘要
Bert在2018一經(jīng)提出笑旺，提高了很多nlp任務(wù)的baseline昼浦，但是Bert模型參數(shù)量大，在推斷資源有限的情況下筒主，我們應(yīng)該怎么樣用bert這種好的預(yù)訓(xùn)練模型关噪。為了解決問題，本文提出了兩種參數(shù)簡(jiǎn)化的方法乌妙，加速Bert的預(yù)訓(xùn)練和推斷使兔；并且我們提出了一個(gè)新的自監(jiān)督的loss函數(shù)，SOP學(xué)習(xí)到句子間的內(nèi)部特征藤韵。我們提出的模型虐沥，參數(shù)量更小，并且在GLUE,RACE等NLP 任務(wù)上達(dá)到最佳性能。
2. Bert簡(jiǎn)介
BERT的全稱是Bidirectional Encoder Representation from Transformers欲险，是Google2018年提出的預(yù)訓(xùn)練模型镐依，即雙向Transformer的Encoder，這是真正基于self attention實(shí)現(xiàn)雙向天试。模型的主要?jiǎng)?chuàng)新點(diǎn)都在預(yù)訓(xùn)練模型上槐壳，即用了Masked LM和Next Sentence Prediction（NSP），兩種loss直接相加秋秤，優(yōu)化的話可以加權(quán)相加宏粤，兩種方法分別捕捉詞語和句子級(jí)別的representation。
Bert一經(jīng)提出灼卢，迅速火遍NLP绍哎，GLUE毫無懸念獲得第一名，高于基于ELMO鞋真，gpt等語言模型的一大截崇堰，一時(shí)間打開了遷移學(xué)習(xí)兩階段的大門，第一步基于無監(jiān)督的語料訓(xùn)練自己的MLM涩咖，然后基于自己的一些數(shù)據(jù)進(jìn)行finetune海诲，從而獲得很好的效果。
3. ALBERT論文細(xì)節(jié)以及實(shí)驗(yàn)結(jié)果
3.1 參數(shù)縮減方法
本文提出兩種模型參數(shù)縮減的方法檩互，具體如下：
- 從模型角度來講特幔，wordPiece embedding是學(xué)習(xí)上下文獨(dú)立的表征維度為E，而隱藏層embedding是學(xué)習(xí)上下文相關(guān)的表征維度為H闸昨。為了應(yīng)用的方便蚯斯，原始的bert的向量維度E=H，這樣一旦增加了H饵较，E也就增大了拍嵌。ALBert提出向量參數(shù)分解法，將一個(gè)非常大的詞匯向量矩陣分解為兩個(gè)小矩陣循诉，例如詞匯量大小是V横辆，向量維度是E，隱藏層向量為H茄猫，則原始詞匯向量參數(shù)大小為V*H狈蚤，ALBert想將原始embedding映射到V*E（低緯度的向量），然后映射到隱藏空間H划纽，這樣參數(shù)量從 V*H下降到V*E+E*H炫惩，參數(shù)量大大下降。但是要注意這樣做的損失確保矩陣分解后的兩個(gè)小矩陣的乘積損失阿浓，是一個(gè)有損的操作。
- 層之間參數(shù)共享蹋绽。base的bert總共由12層的transformer的encoder部分組成芭毙，層參數(shù)共享方法避免了隨著深度的加深帶來的參數(shù)量的增大筋蓖。具體的共享參數(shù)有這幾種，attention參數(shù)共享退敦、ffn殘差網(wǎng)絡(luò)參數(shù)共享粘咖。
3.2 SOP預(yù)訓(xùn)練任務(wù)
我們知道原始的Bert預(yù)訓(xùn)練的loss由兩個(gè)任務(wù)組成，maskLM和NSP(Next Sentence Prediction)侈百，maskLM通過預(yù)測(cè)mask掉的詞語來實(shí)現(xiàn)真正的雙向transformer瓮下，NSP類似于語義匹配的任務(wù)，預(yù)測(cè)句子A和句子B是否匹配钝域，是一個(gè)二分類的任務(wù)讽坏，其中正樣本從原始語料獲得，負(fù)樣本隨機(jī)負(fù)采樣例证。NSP任務(wù)可以提高下游任務(wù)的性能路呜，比如句子對(duì)的關(guān)系預(yù)測(cè)。但是也有論文指出NSP任務(wù)其實(shí)可以去掉织咧，反而可以提高性能胀葱，比如RoBert。
本文以為NSP任務(wù)相對(duì)于MLM任務(wù)太簡(jiǎn)單了笙蒙，學(xué)習(xí)到的東西也有限抵屿，因此本文提出了一個(gè)新的loss，sentence-order prediction(SOP)捅位，SOP關(guān)注于句子間的連貫性轧葛，而非句子間的匹配性。SOP正樣本也是從原始語料中獲得绿渣，負(fù)樣本是原始語料的句子A和句子B交換順序朝群。舉個(gè)例子說明NSP和SOP的區(qū)別，原始語料句子 A和B中符， NSP任務(wù)正樣本是 AB姜胖，負(fù)樣本是AC；SOP任務(wù)正樣本是AB淀散，負(fù)樣本是BA右莱。可以看出SOP任務(wù)更加難档插，學(xué)習(xí)到的東西更多了（句子內(nèi)部排序）慢蜓。
3.3 實(shí)驗(yàn)結(jié)果
本文提出了2種參數(shù)壓縮的方法以及1個(gè)新的loss偎箫，下面主要對(duì)這幾種方法進(jìn)行實(shí)驗(yàn)涣澡，實(shí)驗(yàn)結(jié)果如下：
下圖2展示了BERT-large和ALBERT-large兩個(gè)模型的輸入和輸出embedding的L2以及余弦距離谅猾，我們可以看出ALBERT模型的距離比BERT模型
更層距離更加平滑，這說明權(quán)重共享有助于穩(wěn)定網(wǎng)絡(luò)的參數(shù)姥宝。
其中BERT和ALBERT模型的參數(shù)配置如下茵肃，我們可以看到當(dāng)減小embedding的維度以及使用了參數(shù)共享的方法蒂萎，模型的參數(shù)量大大減小同欠。
Bert和ALBert的模型性能比較如下，我們可以看到總體來說调煎，ALBERT的性能優(yōu)于Bert镜遣，并且參數(shù)量較小接近5倍，性能也是最優(yōu)的士袄。
4. 總結(jié)與問題
- 本文提出了2種模型參數(shù)壓縮的方法悲关，即embedding矩陣分解法以及層參數(shù)共享法，并通過實(shí)驗(yàn)證明詞方法的有效性娄柳；
- 同時(shí)本文也提出了一個(gè)新的預(yù)訓(xùn)練任務(wù)寓辱，SOP，是一個(gè)比NSP任務(wù)更難并且學(xué)習(xí)到的東西更多的任務(wù)西土，可以學(xué)習(xí)到句子內(nèi)部的順序讶舰。
- 通過實(shí)驗(yàn)證明了這3個(gè)創(chuàng)新方案的有效性，目前排在GLUE排行榜第一名需了。
幾個(gè)思考問題如下：
- 論文提及到下游任務(wù)性能提高跳昼，并且參數(shù)量大大減小，訓(xùn)練速度也極大提高肋乍，推斷速度是不是也是同步的提高鹅颊，這是需要實(shí)驗(yàn)證明；
- 論文采用矩陣分解來將大矩陣變成兩個(gè)小矩陣墓造，是不是也會(huì)帶來損失堪伍；
參考文獻(xiàn)
ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
