課程鏈接GitHub：InternLM/Tutorial at camp2
第一次課程錄播鏈接：書(shū)生·浦語(yǔ)大模型全鏈路開(kāi)源體系_嗶哩嗶哩_bilibili
一月杉、書(shū)生浦語(yǔ)大模型簡(jiǎn)介
2023年6月7日刃跛，InternLM大模型發(fā)布
2024年1月柱告，上海 AI Lab正式發(fā)布書(shū)生 · 浦語(yǔ) 2.0（InternLM2）幽勒，包括1.8B、7B 及 20B 兩種參數(shù)規(guī)格及Base措左、Chat等多個(gè)版本
InternLM2_Base：高質(zhì)量腌歉、強(qiáng)可塑性的基座模型
InternLM2：在Base基礎(chǔ)上蛙酪，在多個(gè)能力進(jìn)行了強(qiáng)化，更優(yōu)秀的基座模型
Chat-SFT：在Base基礎(chǔ)上翘盖，經(jīng)過(guò)有監(jiān)督微調(diào)SFT后的對(duì)話模型
InternLM2-Chat：經(jīng)過(guò)SFT和RLHF滤否，面向?qū)υ捊换ミM(jìn)行優(yōu)化的模型
回歸語(yǔ)言建模的本質(zhì)，InternLM2使用新一代數(shù)據(jù)清洗過(guò)濾技術(shù)最仑，包括：
1.多維度數(shù)據(jù)價(jià)值評(píng)估
2.高質(zhì)量語(yǔ)料驅(qū)動(dòng)的數(shù)據(jù)富集
3.有針對(duì)性的數(shù)據(jù)補(bǔ)齊
開(kāi)源數(shù)據(jù)集平臺(tái)OpenDataLab：OpenDataLab
InternLM2的主要亮點(diǎn)：
1.20萬(wàn)token上下文
2.chat-20B在推理數(shù)學(xué)等重點(diǎn)評(píng)測(cè)上比肩ChatGPT
3.結(jié)構(gòu)化創(chuàng)作，超越GPT3.5
4.工具多輪調(diào)用炊甲，復(fù)雜智能體創(chuàng)建
5.計(jì)算能力泥彤，加入代碼解釋后，和GPT-4相仿水平
對(duì)于其他參數(shù)量類似的開(kāi)源模型卿啡，基本是全方位的超越吟吝，特別是推理、數(shù)學(xué)颈娜、代碼等方面的能力提升尤為顯著
舉例：旅游規(guī)劃剑逃、人文關(guān)懷對(duì)話、科幻創(chuàng)作官辽、工具調(diào)用能力……
舉例：內(nèi)生計(jì)算能力：配合代碼解釋器蛹磺，20B模型已經(jīng)可以完成大學(xué)的微積分題目
數(shù)據(jù)分析能力：上傳表格，可以畫(huà)出趨勢(shì)發(fā)展圖同仆，調(diào)用機(jī)器學(xué)習(xí)算法萤捆，做出后續(xù)預(yù)測(cè)
二、從模型到應(yīng)用流程
1.典型流程圖
書(shū)生浦語(yǔ)對(duì)整個(gè)流程實(shí)現(xiàn)了全覆蓋：數(shù)據(jù)-預(yù)訓(xùn)練-微調(diào)-部署-評(píng)測(cè)-應(yīng)用
2.數(shù)據(jù)
數(shù)據(jù)環(huán)節(jié)，書(shū)生CC做到了高質(zhì)量語(yǔ)料驅(qū)動(dòng)俗或、安全性能高
3.預(yù)訓(xùn)練
預(yù)訓(xùn)練環(huán)節(jié)市怎，支持8卡到千卡訓(xùn)練，支持HuggingFace等配置辛慰、支持多種規(guī)格語(yǔ)言模型区匠，能夠修改配置即可訓(xùn)練
4.微調(diào)
微調(diào)環(huán)節(jié)，支持增量續(xù)訓(xùn)和有監(jiān)督微調(diào)（全量參數(shù)微調(diào)帅腌、部分參數(shù)微調(diào)）
使用XTuner框架驰弄，適配多種生態(tài)：
1.支持多種輸入數(shù)據(jù)的格式
2.支持優(yōu)化加速（Flash Attention, DeepSpeed）
3.支持多種微調(diào)算法（LoRA, QLoRA, 全量微調(diào)）
適配多種硬件，最低只需8GB顯存即可微調(diào)7B模型
5.評(píng)測(cè)
評(píng)測(cè)環(huán)節(jié)狞膘，opencompass2.0評(píng)測(cè)體系揩懒，可以對(duì)市面上常見(jiàn)的大模型進(jìn)行評(píng)測(cè)，評(píng)測(cè)內(nèi)容包括：
1.數(shù)據(jù)污染檢查
2.更豐富的模型推理接入
3.長(zhǎng)文本能力檢測(cè)
4.中英文雙語(yǔ)主觀評(píng)測(cè)
同時(shí)構(gòu)建了評(píng)測(cè)基準(zhǔn)社區(qū)挽封，匯聚專家已球、學(xué)者的評(píng)測(cè)數(shù)據(jù)集
opencompass也是Meta官方推薦的唯一國(guó)產(chǎn)大模型評(píng)測(cè)體系
OpenCompass對(duì)大模型進(jìn)行循環(huán)評(píng)測(cè)方法，得到的大模型評(píng)測(cè)年度榜單
6.部署
部署環(huán)節(jié)辅愿，LMDeploy提供了完整的部署工具鏈智亮，提供包括Python、grpc点待、restful的接口阔蛉，提供模型從輕量化、推理和服務(wù)的全流程
7.智能體
智能體框架癞埠，Lagent,支持多種大語(yǔ)言模型状原、支持多個(gè)主流智能體系統(tǒng)
同時(shí)開(kāi)發(fā)了AgentLego智能體工具箱，提供了多種工具接口的封裝
三苗踪、InternLM2 技術(shù)報(bào)告學(xué)習(xí)
文檔鏈接https://arxiv.org/pdf/2403.17297.pdf
使用文心一言解讀文檔
引言
隨著人工智能技術(shù)的飛速發(fā)展颠区，大型語(yǔ)言模型（Large Language Models，簡(jiǎn)稱LLMs）如ChatGPT和GPT-4的出現(xiàn)通铲，標(biāo)志著人工智能在自然語(yǔ)言處理領(lǐng)域取得了重大突破毕莱，引發(fā)了關(guān)于人工通用智能（Artificial General Intelligence，簡(jiǎn)稱AGI）即將到來(lái)的廣泛討論颅夺。然而朋截，在開(kāi)源環(huán)境中復(fù)制這樣的進(jìn)步一直是一個(gè)挑戰(zhàn)。為此吧黄，我們介紹了InternLM2部服，一個(gè)開(kāi)源的大型語(yǔ)言模型，通過(guò)創(chuàng)新的預(yù)訓(xùn)練和優(yōu)化技術(shù)拗慨，在多個(gè)維度和基準(zhǔn)測(cè)試中均超越了其前代模型饲宿。
模型概述
InternLM2是在多個(gè)研究機(jī)構(gòu)和企業(yè)的共同努力下開(kāi)發(fā)的厦酬。它匯聚了來(lái)自上海AI實(shí)驗(yàn)室、商湯科技瘫想、香港中文大學(xué)仗阅、復(fù)旦大學(xué)等眾多頂尖科研團(tuán)隊(duì)的智慧和資源。該模型采用了先進(jìn)的深度學(xué)習(xí)架構(gòu)和算法国夜，旨在提高自然語(yǔ)言處理任務(wù)的準(zhǔn)確性和效率减噪。
技術(shù)亮點(diǎn)
- 創(chuàng)新的預(yù)訓(xùn)練技術(shù)：InternLM2在預(yù)訓(xùn)練過(guò)程中采用了多項(xiàng)創(chuàng)新技術(shù)，包括無(wú)監(jiān)督學(xué)習(xí)和自監(jiān)督學(xué)習(xí)相結(jié)合的方法车吹，以充分利用大量的無(wú)標(biāo)注數(shù)據(jù)筹裕。這種預(yù)訓(xùn)練方式使得模型能夠更好地捕捉語(yǔ)言的內(nèi)在規(guī)律和結(jié)構(gòu)，為后續(xù)的任務(wù)提供強(qiáng)大的基礎(chǔ)窄驹。
- 多維度評(píng)估體系：為了全面評(píng)估InternLM2的性能朝卒，我們?cè)O(shè)計(jì)了一個(gè)涵蓋6個(gè)維度和30個(gè)基準(zhǔn)測(cè)試的綜合評(píng)估體系。這些基準(zhǔn)測(cè)試涵蓋了語(yǔ)言理解乐埠、語(yǔ)言生成抗斤、文本分類、情感分析等多個(gè)方面丈咐，確保了模型在各個(gè)方面的表現(xiàn)都能得到準(zhǔn)確評(píng)估瑞眼。
- 長(zhǎng)上下文建模能力：InternLM2具有出色的長(zhǎng)上下文建模能力，能夠處理長(zhǎng)達(dá)數(shù)千個(gè)詞的文本輸入棵逊。這使得模型在處理復(fù)雜對(duì)話伤疙、長(zhǎng)篇文檔等任務(wù)時(shí)具有更高的準(zhǔn)確性和靈活性。
- 開(kāi)放式主觀評(píng)價(jià)：除了客觀評(píng)估指標(biāo)外辆影，我們還進(jìn)行了開(kāi)放式主觀評(píng)價(jià)徒像，以評(píng)估模型在真實(shí)應(yīng)用場(chǎng)景下的表現(xiàn)。這些評(píng)價(jià)涉及了模型的生成質(zhì)量蛙讥、語(yǔ)義連貫性锯蛀、多樣性等方面，為模型的改進(jìn)提供了有價(jià)值的反饋键菱。
實(shí)驗(yàn)結(jié)果
在綜合評(píng)估中，InternLM2在多個(gè)維度和基準(zhǔn)測(cè)試中均取得了優(yōu)異的成績(jī)今布。特別是在長(zhǎng)上下文建模和開(kāi)放式主觀評(píng)價(jià)方面经备，模型表現(xiàn)出了顯著的優(yōu)勢(shì)。這些實(shí)驗(yàn)結(jié)果證明了InternLM2在自然語(yǔ)言處理領(lǐng)域的先進(jìn)性和實(shí)用性部默。
結(jié)論與展望
InternLM2的成功開(kāi)發(fā)為開(kāi)源大型語(yǔ)言模型的發(fā)展提供了新的思路和方法侵蒙。未來(lái)，我們將繼續(xù)優(yōu)化模型架構(gòu)和算法傅蹂，提高模型的性能和效率纷闺。同時(shí)算凿，我們也期待更多的研究者和開(kāi)發(fā)者能夠加入到開(kāi)源大型語(yǔ)言模型的研究和開(kāi)發(fā)中來(lái)，共同推動(dòng)人工智能技術(shù)的發(fā)展和應(yīng)用犁功。
