目前Foundation Model或者是大模型扶踊，特別地火靶橱，接下來(lái)介紹什么是大模型屑那，大模型的基本概念送悔；接著看看大模型的實(shí)際作用，然后基于這些實(shí)際作用梨熙，我們簡(jiǎn)單展開(kāi)幾個(gè)應(yīng)用場(chǎng)景开镣。最后就是介紹支持大模型訓(xùn)練的AI框架。
在往下看之前串结，想拋出幾個(gè)問(wèn)題哑子，希望引起大家的一個(gè)思考：
1）為什么預(yù)訓(xùn)練網(wǎng)絡(luò)模型變得越來(lái)越重要舅列？
2）預(yù)訓(xùn)練大模型的未來(lái)的發(fā)展趨勢(shì)肌割，仍然是以模型參數(shù)量繼續(xù)增大嗎？
3）如何預(yù)訓(xùn)練一個(gè)百億規(guī)模的大模型帐要？
Foundation Model
2021年8月份把敞，李飛飛和100多位學(xué)者聯(lián)名發(fā)表一份200多頁(yè)的研究報(bào)告《On the Opportunities and Risk of Foundation Models》，深度地綜述了當(dāng)前大規(guī)模預(yù)訓(xùn)練模型面臨的機(jī)遇和挑戰(zhàn)榨惠。
在文章中奋早，AI專家將大模型統(tǒng)一命名為Foundation Models，可以翻譯為基礎(chǔ)模型或者是基石模型赠橙，論文肯定了Foundation Models對(duì)智能體基本認(rèn)知能力的推動(dòng)作用耽装，同時(shí)也指出大模型呈現(xiàn)出「涌現(xiàn)」與「同質(zhì)化」的特性。
所謂「涌現(xiàn)」代表一個(gè)系統(tǒng)的行為是隱性推動(dòng)的期揪，而不是顯式構(gòu)建的掉奄；「同質(zhì)化」是指基礎(chǔ)模型的能力是智能的中心與核心，大模型的任何一點(diǎn)改進(jìn)會(huì)迅速覆蓋整個(gè)社區(qū)凤薛，但其缺陷也會(huì)被所有下游模型所繼承姓建。
回到大模型诞仓，2017年Transformer結(jié)構(gòu)的提出，使得深度學(xué)習(xí)模型參數(shù)突破了1億速兔。下面這個(gè)圖呢墅拭，就是從一開(kāi)始的lenet、Alexnet涣狗、ResNet開(kāi)始谍婉，模型參數(shù)一個(gè)比一個(gè)大，到了BERT網(wǎng)絡(luò)模型的提出镀钓，使得參數(shù)量首次超過(guò)3億規(guī)模屡萤，GPT-3模型超過(guò)百億，鵬程盤(pán)古實(shí)現(xiàn)千億稠密的規(guī)模掸宛、Switch Transformer的問(wèn)世還一舉突破萬(wàn)億規(guī)模死陆。
以GPT系列為例：
1）GPT-1是上億規(guī)模的參數(shù)量，數(shù)據(jù)集使用了1萬(wàn)本書(shū)的BookCorpus唧瘾，25億單詞量措译；
2）GPT-2參數(shù)量達(dá)到了15億規(guī)模，其中數(shù)據(jù)來(lái)自于互聯(lián)網(wǎng)饰序，使用了800萬(wàn)在Reddit被鏈接過(guò)的網(wǎng)頁(yè)數(shù)據(jù)领虹，清洗后越40GB（WebText)；
3）GPT-3參數(shù)規(guī)模首次突破百億求豫，數(shù)據(jù)集上將語(yǔ)料規(guī)模擴(kuò)大到570GB的CC數(shù)據(jù)集(4千億詞)+WebText2(190億詞)+BookCorpus(670億詞)+維基百科(30億詞)塌衰。
可以看到，數(shù)據(jù)上面蝠嘉，每一代均相比前一代有了數(shù)量級(jí)的飛躍最疆，無(wú)論是語(yǔ)料的覆蓋范圍、豐富度上都是絕對(duì)規(guī)模的增長(zhǎng)蚤告∨幔可以預(yù)測(cè)到，下一代萬(wàn)億模型杜恰，使用的數(shù)據(jù)如果相比GPT-3在質(zhì)量获诈、來(lái)源和規(guī)模上沒(méi)有量級(jí)的變化，很難有質(zhì)的提升心褐。
大模型在產(chǎn)學(xué)各界掀起一陣陣巨浪舔涎，背后彰顯的除了分布式并行和對(duì)AI算法的掌控能力，還是一次大公司通過(guò)AI工程的創(chuàng)舉逗爹，利用大規(guī)模AI集群來(lái)進(jìn)行掰手腕的故事亡嫌。
隨著網(wǎng)絡(luò)模型越來(lái)越大，單機(jī)單卡、一機(jī)多卡昼伴、甚至多機(jī)多卡的小規(guī)模集群匾旭，只要網(wǎng)絡(luò)模型參數(shù)量一旦超過(guò)十億以上的規(guī)模，就很難用現(xiàn)有的資源訓(xùn)練了圃郊。于是有的研究者就會(huì)提出質(zhì)疑：
一味的讓模型變大价涝、讓參數(shù)量爆炸式增長(zhǎng)，真的能讓AI模型學(xué)習(xí)變得更好嗎持舆？
真的能帶來(lái)真正的智能嗎色瘩？
甚至有的同學(xué)還會(huì)挑戰(zhàn)，小學(xué)數(shù)學(xué)題都解不好逸寓？
生成的文字內(nèi)容不合邏輯居兆？
給出的醫(yī)療建議不靠譜！
這里值得澄清的一點(diǎn)是竹伸，目前類似于GPT-3這樣的大模型泥栖，在零樣本和小樣本的學(xué)習(xí)能力，主要來(lái)源于預(yù)訓(xùn)練階段對(duì)海量語(yǔ)料的大量記憶勋篓，其次是語(yǔ)義編碼能力吧享、遠(yuǎn)距離依賴關(guān)系建模能力和文本生成能力的強(qiáng)化，以及自然語(yǔ)言進(jìn)行任務(wù)描述等設(shè)計(jì)譬嚣。而在訓(xùn)練目標(biāo)方面钢颂，并沒(méi)有顯式的引導(dǎo)模型去學(xué)習(xí)小樣本泛化能力，因此在一些小眾的語(yǔ)料拜银、邏輯理解殊鞭、數(shù)學(xué)求解等語(yǔ)言任務(wù)上出現(xiàn)翻車的現(xiàn)象也是能理解的。
雖然大模型剛提出的時(shí)候尼桶，質(zhì)疑的聲音會(huì)有操灿，但不可否認(rèn)的是，大模型做到了早期預(yù)訓(xùn)練模型做不到疯汁、做不好的事情牲尺，就好像自然語(yǔ)言處理中的文字生成卵酪、文本理解幌蚊、自動(dòng)問(wèn)答等下游任務(wù)，不僅生成的文本更加流暢溃卡，甚至內(nèi)容的訴實(shí)性也有了顯著的改善溢豆。當(dāng)然，大模型最終能否走向通用人工智能仍是一個(gè)未知數(shù)瘸羡，只是漩仙，大模型真的是有希望帶領(lǐng)下一個(gè)很重要的人工智能賽道。
大模型的作用
有了大模型的基本介紹，我們來(lái)看看大模型的具體作用队他。
下面顯示了深度學(xué)習(xí)技術(shù)在ImageNet圖像數(shù)據(jù)集卷仑，隨著新模型的提出，準(zhǔn)確率不斷取得突破的趨勢(shì)麸折。右圖顯示在網(wǎng)絡(luò)預(yù)訓(xùn)練模型出來(lái)以后锡凝，機(jī)器對(duì)自然語(yǔ)言理解能力的不斷提升。
雖然深度學(xué)習(xí)使得很多通用領(lǐng)域的精度和準(zhǔn)確率得到很大的提升垢啼，但是AI模型目前存在很多挑戰(zhàn)窜锯，最首要的問(wèn)題是模型的通用性不高，也就是A模型往往專用于特定A領(lǐng)域芭析，應(yīng)用到領(lǐng)域B時(shí)效果并不好锚扎。
1) 模型碎片化，大模型提供預(yù)訓(xùn)練方案
目前AI面對(duì)行業(yè)馁启、業(yè)務(wù)場(chǎng)景很多驾孔，人工智能需求正呈現(xiàn)出碎片化、多樣化的特點(diǎn)惯疙。從開(kāi)發(fā)助币、調(diào)參、優(yōu)化螟碎、迭代到應(yīng)用眉菱，AI模型研發(fā)成本極高，且難以滿足市場(chǎng)定制化需求掉分，所以網(wǎng)上有的人會(huì)說(shuō)現(xiàn)階段的AI模型研發(fā)處于手工作坊式俭缓。基本上一個(gè)公司想要用AI賦能自身的業(yè)務(wù)酥郭，多多少少也得招聘懂AI的研發(fā)人員华坦。
為了解決手工作坊式走向工場(chǎng)模式，大模型提供了一種可行方案不从，也就是“預(yù)訓(xùn)練大模型+下游任務(wù)微調(diào)”的方式惜姐。大規(guī)模預(yù)訓(xùn)練可以有效地從大量標(biāo)記和未標(biāo)記的數(shù)據(jù)中捕獲知識(shí)，通過(guò)將知識(shí)存儲(chǔ)到大量的參數(shù)中并對(duì)特定任務(wù)進(jìn)行微調(diào)椿息，極大地?cái)U(kuò)展了模型的泛化能力歹袁。例如，在NLP領(lǐng)域寝优，預(yù)訓(xùn)練大模型共享了預(yù)訓(xùn)任務(wù)和部分下游任務(wù)的參數(shù)条舔，在一定程度上解決了通用性的難題乏矾，可以被應(yīng)用于翻譯孟抗，問(wèn)答，文本生成等自然語(yǔ)言任務(wù)。
NLP領(lǐng)域的大規(guī)模預(yù)訓(xùn)練模型可謂是發(fā)展快速预皇，從 BERT 到 GPT-3吟温，再到萬(wàn)億規(guī)模的 Switch Transformer爬橡，無(wú)論是模型大小船惨、數(shù)據(jù)量怜浅，還是計(jì)算資源占用都在疾速增長(zhǎng)搀暑。規(guī)模大到什么程度呢？GPT-3 的參數(shù)量達(dá)到了 1750 億埠啃，訓(xùn)練數(shù)據(jù)超過(guò)了 45TB，需要的算力Flops是 BERT 的 1900 多倍，3.14E23 FLOPS巴碗。在驚人的數(shù)據(jù)量和可怕的網(wǎng)絡(luò)模型參數(shù)下，在實(shí)際NLP榜單SuperGLUE溯革，在該基準(zhǔn)上 FLOP-matched Switch Transformer 相比 T5-Base 和 T5-Large 的性能分別提升了 4.4% 和 2%。整體而言矛绘，Switch Transformer 模型在多項(xiàng)推理和知識(shí)任務(wù)中帶來(lái)了顯著性能提升。這說(shuō)明該超大模型架構(gòu)不只對(duì)預(yù)訓(xùn)練有用，還可以通過(guò)微調(diào)將質(zhì)量改進(jìn)遷移至下游任務(wù)中。
2）大模型具備自監(jiān)督學(xué)習(xí)功能，降低訓(xùn)練研發(fā)成本
大模型的自監(jiān)督學(xué)習(xí)方法矮烹，可以減少數(shù)據(jù)標(biāo)注仁期，在一定程度上解決了人工標(biāo)注成本高赊级、周期長(zhǎng)、準(zhǔn)確度不高的問(wèn)題藕漱。由于減少了數(shù)據(jù)標(biāo)準(zhǔn)的成本镀脂，使得小樣本的學(xué)習(xí)也能達(dá)到比以前更好的能力鼎天，并且模型參數(shù)規(guī)模越大，優(yōu)勢(shì)越明顯罗岖，避免開(kāi)發(fā)人員再進(jìn)行大規(guī)模的訓(xùn)練涧至，使用小樣本就可以訓(xùn)練自己所需模型，極大降低開(kāi)發(fā)使用成本桑包。
2018年Bert首次提出南蓬，便一舉擊敗 11 個(gè) NLP 任務(wù)的 State-of-the-art 結(jié)果，成為了 NLP 界新的里程碑哑了，同時(shí)為模型訓(xùn)練和NLP領(lǐng)域打開(kāi)了新的思路：在未標(biāo)注的數(shù)據(jù)上深入挖掘赘方，可以極大地改善各種任務(wù)的效果。要知道弱左，數(shù)據(jù)標(biāo)注依賴于昂貴的人工成本窄陡，而在互聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)時(shí)代，大量的未標(biāo)注數(shù)據(jù)卻很容易獲得拆火。
3）大模型有望進(jìn)一步突破現(xiàn)有模型結(jié)構(gòu)的精度局限
第三點(diǎn)跳夭，從深度學(xué)習(xí)發(fā)展前10年的歷程來(lái)看，模型精度提升榜掌，主要依賴網(wǎng)絡(luò)在結(jié)構(gòu)上的變革优妙。 例如，從AlexNet到ResNet50憎账，再到NAS搜索出來(lái)的EfficientNet套硼，ImageNet Top-1 精度從58提升到了84。但是胞皱，隨著神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)技術(shù)邪意，逐漸成熟并趨于收斂九妈，想要通過(guò)優(yōu)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)從而打破精度局限非常困難。近年來(lái)雾鬼，隨著數(shù)據(jù)規(guī)模和模型規(guī)模的不斷增大萌朱，模型精度也得到了進(jìn)一步提升，研究實(shí)驗(yàn)表明策菜，模型和數(shù)據(jù)規(guī)模的增大確實(shí)能突破現(xiàn)有精度的一個(gè)局限晶疼。
以谷歌2021年發(fā)布的視覺(jué)遷移模型Big Transfer，BiT為例又憨。擴(kuò)大數(shù)據(jù)規(guī)模也能帶來(lái)精度提升翠霍，例如使用ILSVRC-2012(128 萬(wàn)張圖片，1000 個(gè)類別)和JFT-300M(3億張圖片蠢莺，18291個(gè)類別)兩個(gè)數(shù)據(jù)集來(lái)訓(xùn)練ResNet50寒匙，精度分別是77%和79%。另外使用 JFT-300M訓(xùn)練ResNet152x4躏将，精度可以上升到87.5%锄弱，相比ILSVRC-2012+ResNet50結(jié)構(gòu)提升了10.5%。
雖然目前為止祸憋，大模型主要是以NLP為主会宪，因?yàn)镹LP拋棄了RNN序列依賴的問(wèn)題，采用了Attention is All you need的Transformer結(jié)構(gòu)夺衍，使得NLP能夠演變出更多大模型狈谊。但是在最新的研究當(dāng)做，圖像領(lǐng)域也不甘示弱沟沙，CNN大模型也開(kāi)始陸續(xù)涌現(xiàn)河劝。例如ResNeXt WSL擁有8億參數(shù)、GPipe擁有6億參數(shù)規(guī)模矛紫，Google也通過(guò)EfficientNet-L2發(fā)布了4.8億參數(shù)規(guī)模的網(wǎng)絡(luò)模型赎瞎，并且在JFT-300M數(shù)據(jù)集刷新了ImageNet的榜單，Top-1 Acc首次突破90颊咬。要知道在2020年务甥，也就是1年前，大部分CNN網(wǎng)絡(luò)模型規(guī)模都沒(méi)有超過(guò)1億喳篇，Top-1 Acc最高在87-89之間敞临。
大模型應(yīng)用場(chǎng)景
既然大模型能突破訓(xùn)練精度的極限，還能夠兼容下游任務(wù)麸澜。那有沒(méi)有一些具體的應(yīng)用場(chǎng)景介紹呢挺尿？
智源研究院針對(duì)2021年北京冬奧會(huì)，提出了“悟道”大模型用于冬奧手語(yǔ)播報(bào)數(shù)字人，提供智能化的數(shù)字人手語(yǔ)生成服務(wù)编矾，方便聽(tīng)障人士也能收看賽事專題報(bào)道熟史，提升他們的社會(huì)參與度和幸福感。這個(gè)項(xiàng)目還得到了北京市殘疾人聯(lián)合會(huì)和市殘聯(lián)聾人協(xié)會(huì)的大力支持窄俏。
華為盤(pán)古CV大模型蹂匹。主要是針對(duì)無(wú)人機(jī)電力智能巡檢這個(gè)場(chǎng)景，以國(guó)網(wǎng)重慶永川供電公司為例凹蜈，無(wú)人機(jī)智能巡檢開(kāi)發(fā)主要面臨兩個(gè)挑戰(zhàn)：一是如何對(duì)海量數(shù)據(jù)進(jìn)行高效標(biāo)注限寞；二是缺陷種類多達(dá)上百種，需要數(shù)十個(gè)AI識(shí)別模型踪区。盤(pán)古CV大模型在數(shù)據(jù)標(biāo)注方面昆烁，利用海量無(wú)標(biāo)注電力數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練吊骤，結(jié)合少量標(biāo)注樣本進(jìn)行微調(diào)缎岗，使得樣本篩選效率提升約30倍，以永川供電每天采集5萬(wàn)張高清圖片為例白粉，可節(jié)省人工標(biāo)注時(shí)間170人天传泊。在模型通用性方面，可以做到一個(gè)模型適配上百種缺陷鸭巴，替代原有20多個(gè)小模型眷细，減少了模型維護(hù)成本，平均精度提升18.4%鹃祖，開(kāi)發(fā)成本降低90%溪椎。
當(dāng)然也缺少不了最近雙十一，雙十一是淘寶系統(tǒng)服務(wù)最繁忙的一天恬口，如何有效地應(yīng)對(duì)成千上億的用戶咨詢校读？基于達(dá)摩院開(kāi)發(fā)的M6大模型智能生成內(nèi)容文案，方便智能客服進(jìn)行上下文理解和問(wèn)題回答生成祖能。另外大模型的多模態(tài)特征提取能力歉秫，也能進(jìn)行商品屬性標(biāo)簽補(bǔ)充、認(rèn)知召回等下游任務(wù)养铸。
大模型訓(xùn)練框架
目前部分深度學(xué)習(xí)框架雁芙，例如Pytorch和Tensorflow，沒(méi)有辦法滿足超大規(guī)模模型訓(xùn)練的需求钞螟，于是微軟基于Pytroch開(kāi)發(fā)了DeepSpeed兔甘，騰訊基于Pytroch開(kāi)發(fā)了派大星PatricStar，達(dá)摩院同基于Tensoflow開(kāi)發(fā)的分布式框架Whale鳞滨。像是華為昇騰的MindSpore洞焙、百度的PaddlePaddle，還有國(guó)內(nèi)的追一科技OneFlow等廠商，對(duì)超大模型訓(xùn)練進(jìn)行了深度的跟進(jìn)與探索闽晦，基于原生的AI框架支持超大模型訓(xùn)練扳碍。
下面展開(kāi)DeepSpeed和MindSpore來(lái)簡(jiǎn)單了解下。
2021年2月份微軟發(fā)布了DeepSpeed仙蛉，最核心的是顯存優(yōu)化技術(shù)ZeRO(零冗余優(yōu)化器)笋敞，通過(guò)擴(kuò)大規(guī)模、內(nèi)存優(yōu)化荠瘪、提升速度夯巷、控制成本，四個(gè)方面推進(jìn)了大模型訓(xùn)練能力哀墓〕貌停基于DeepSpeed微軟開(kāi)發(fā)了擁有170億參數(shù)的圖靈自然語(yǔ)言生成模型(Turing-NLG)。(2021年5月份發(fā)布的ZeRO-2篮绰，更是支持2000億參數(shù)的模型訓(xùn)練)后雷，另外微軟聯(lián)手英偉達(dá)，使用4480塊A100組成的集群吠各，發(fā)布了5300億參數(shù)的NLP模型威震天-圖靈(Megatron Turing-NLG)臀突。
當(dāng)然，作為國(guó)內(nèi)首個(gè)支持千億參數(shù)大模型訓(xùn)練的框架MindSpore這里面也提一下贾漏。在靜態(tài)圖模式下候学，MindSpore融合了流水線并行、模型并行和數(shù)據(jù)并行三種并行技術(shù)纵散，開(kāi)發(fā)者只需編寫(xiě)單機(jī)算法代碼梳码，添加少量并行標(biāo)簽，即可實(shí)現(xiàn)訓(xùn)練過(guò)程的自動(dòng)切分伍掀，使得并行算法性能調(diào)優(yōu)時(shí)間從月級(jí)降為小時(shí)級(jí)掰茶，同時(shí)訓(xùn)練性能相比業(yè)界標(biāo)桿提升40%。
動(dòng)態(tài)圖模式下硕盹，MindSpore獨(dú)特的函數(shù)式微分設(shè)計(jì)符匾，能從一階微分輕易地?cái)U(kuò)展到高階微分，并進(jìn)行整圖性能優(yōu)化瘩例，大幅提升動(dòng)態(tài)圖性能啊胶；結(jié)合創(chuàng)新的通訊算子融合和多流并行機(jī)制，較其它AI框架垛贤，MindSpore動(dòng)態(tài)圖性能提升60%焰坪。
最后就是針對(duì)大模型的訓(xùn)練，網(wǎng)上很多人會(huì)說(shuō)聘惦，大模型需要“大數(shù)據(jù)+大算力+強(qiáng)算法”三駕馬車并駕齊驅(qū)某饰。
ZOMI并不是非常認(rèn)同這個(gè)觀點(diǎn)，大模型首先是需要規(guī)模更大的海量數(shù)據(jù)，同時(shí)需要龐大的算力去支撐這個(gè)說(shuō)沒(méi)錯(cuò)黔漂。但是整體來(lái)說(shuō)诫尽，這是一個(gè)系統(tǒng)工程，從并行訓(xùn)練到大規(guī)模并行訓(xùn)練炬守，其中就包括對(duì)AI集群調(diào)度和管理牧嫉，對(duì)集群通訊帶寬的研究，對(duì)算法在模型的并行减途、數(shù)據(jù)的并行等策略上與通訊極限融合在一起考慮酣藻，求解在有限帶寬前提下，數(shù)據(jù)通訊和計(jì)算之間的最優(yōu)值鳍置。
目前在大模型這個(gè)系統(tǒng)工程里面辽剧，最主要的競(jìng)爭(zhēng)對(duì)手有基于英偉達(dá)的GPU+微軟的DeepSpeed，Google的TPU+Tensorflow税产，當(dāng)然還有華為昇騰Atlas800+MindSpore三大廠商能夠?qū)崿F(xiàn)全面的優(yōu)化怕轿。至于其他廠商，大部分都是基于英偉達(dá)的GPU基礎(chǔ)上進(jìn)行一些創(chuàng)新和優(yōu)化砖第。最后就是撤卢，核心技術(shù)在市場(chǎng)上并不是最重要的，誰(shuí)能夠?yàn)榭蛻魟?chuàng)造更大的價(jià)值梧兼，才是最后的贏家。
