近期朽合，阿里云人工智能平臺(tái) PAI 的多篇論文在 EMNLP2024 上入選做入。論文成果是阿里云與華南理工大學(xué)金連文教授團(tuán)隊(duì)缭嫡、復(fù)旦大學(xué)王鵬教授團(tuán)隊(duì)共同研發(fā)喂很。EMNLP 是人工智能自然語(yǔ)言處理領(lǐng)域的頂級(jí)國(guó)際會(huì)議惜颇，聚焦于自然語(yǔ)言處理技術(shù)在各個(gè)應(yīng)用場(chǎng)景的學(xué)術(shù)研究，尤其重視自然語(yǔ)言處理的實(shí)證研究少辣。該會(huì)議曾推動(dòng)了預(yù)訓(xùn)練語(yǔ)言模型凌摄、文本挖掘、對(duì)話系統(tǒng)漓帅、機(jī)器翻譯等自然語(yǔ)言處理領(lǐng)域的核心創(chuàng)新锨亏，在學(xué)術(shù)和工業(yè)界都有巨大的影響力。此次入選標(biāo)志著阿里云人工智能平臺(tái) PAI 在自然語(yǔ)言處理和多模態(tài)算法能力方面研究獲得了學(xué)術(shù)界認(rèn)可忙干。
論文簡(jiǎn)述
面向長(zhǎng)文本的文視頻表征學(xué)習(xí)與檢索模型 VideoCLIP-XL
CLIP 模型在視覺-語(yǔ)言預(yù)訓(xùn)練領(lǐng)域已經(jīng)取得了重要進(jìn)展器予。然而，原始 CLIP 模型的一個(gè)顯著局限性是處理長(zhǎng)文本描述的能力受限捐迫。原始 CLIP 模型的訓(xùn)練過程中對(duì)簡(jiǎn)短的摘要性文本的強(qiáng)調(diào)迫使文本/視覺編碼器主要關(guān)注文本/視覺輸入中的主要特征乾翔，常常忽視一些較小但潛在關(guān)鍵的細(xì)節(jié)。為了解決這些限制施戴，該工作提出了一個(gè)名為 VideoCLIP-XL 的視頻 CLIP 模型反浓，旨在提升對(duì)視頻的長(zhǎng)文本描述的理解能力萌丈。其首先構(gòu)建了一個(gè)大規(guī)模的視頻-長(zhǎng)描述配對(duì)數(shù)據(jù)集 VILD，并在預(yù)訓(xùn)練階段提出了一種文本相似度引導(dǎo)的主成分匹配方法（TPCM）來(lái)優(yōu)化高維特征空間的學(xué)習(xí)雷则。
此外浓瞪，該工作提出能夠理解長(zhǎng)描述的視頻 CLIP 模型應(yīng)當(dāng)體現(xiàn)兩個(gè)特征：給定一個(gè)視頻及其相關(guān)描述，CLIP 類模型應(yīng)該對(duì)（1）具有更豐富和更精確細(xì)節(jié)的描述以及（2）在相同細(xì)節(jié)水平下更準(zhǔn)確即幻覺更少的描述賦予更高的分?jǐn)?shù)巧婶。為此，其提出兩個(gè)新的預(yù)訓(xùn)練任務(wù)：細(xì)節(jié)描述排序（DDR）和幻覺描述排序（HDR）涂乌。此外艺栈，該工作也建立了一個(gè)新的視頻長(zhǎng)描述排序基準(zhǔn)測(cè)評(píng)集（LVDR），來(lái)更全面地評(píng)估視頻 CLIP 模型的性能湾盒。
基于多任務(wù)課程規(guī)劃的大語(yǔ)言模型蒸餾算法
大語(yǔ)言模型在回答開放領(lǐng)域通用任務(wù)的指令上取得了很大地進(jìn)步湿右。指令微調(diào)是微調(diào)預(yù)訓(xùn)練模型，使其從文本補(bǔ)全模型成為強(qiáng)大的對(duì)話模型的關(guān)鍵罚勾。盡管已有研究探索了使用強(qiáng)大的黑盒教師模型（如GPT-4毅人， Qwen-max）來(lái)自動(dòng)蒸餾和標(biāo)注指令的方法，但這些研究往往忽視了微調(diào)訓(xùn)練集中任務(wù)的多樣性分布尖殃，以及訓(xùn)練集中指令難度的差異丈莺，這可能導(dǎo)致學(xué)生 LLMs 知識(shí)能力的不平衡和解決復(fù)雜任務(wù)的能力的不足。為了解決這些挑戰(zhàn)送丰，這篇文章介紹了一個(gè)名為 TAPIR 的知識(shí)蒸餾框架缔俄，它通過多任務(wù)課程規(guī)劃來(lái)蒸餾黑盒大語(yǔ)言模型的指令回答能力，在蒸餾和多輪迭代過程中器躏，使用教師 LLM 做為裁判找出對(duì)于學(xué)生 LLM 來(lái)說難以回答的指令俐载，進(jìn)行難度重采樣。并調(diào)整多任務(wù)配比進(jìn)行訓(xùn)練集中的任務(wù)多樣性分布的重采樣登失，并根據(jù)相應(yīng)多任務(wù)特點(diǎn)自動(dòng)優(yōu)化教師模型的回答風(fēng)格遏佣。
該工作創(chuàng)新性地用顯式的任務(wù)標(biāo)簽配比代替隱式的句向量多樣性。在任務(wù)重采樣的過程中揽浙，大大增加數(shù)學(xué)推理代碼類任務(wù)的數(shù)據(jù)比例状婶。首次提出了模型擬合難度 (MFD) 指標(biāo)，來(lái)表示數(shù)據(jù)難度大小馅巷，并在多輪迭代優(yōu)化的過程中提升困難數(shù)據(jù)占比太抓。提升模型從弱到強(qiáng)的泛化速度。在 AlpacaEval 排行榜上令杈，我們微調(diào)后的 LLaMA2-7B 底座獲得了7.8的相對(duì)分?jǐn)?shù)走敌，超過了參數(shù)量、數(shù)據(jù)量都遠(yuǎn)大于我們的知名開源模型模型（LLaMA2-Chat-13B逗噩，Vicuna 13B）掉丽。我們持續(xù)優(yōu)化了 Qwen 系列模型的指令回答能力跌榔，優(yōu)化 Qwen1.5系列模型在 AlpacaEval 榜單上提升3-8個(gè)百分點(diǎn)。
產(chǎn)品化服務(wù)
上述科研成果也在人工智能平臺(tái)PAI的各個(gè)模塊進(jìn)行了深度的集成和整合捶障，持續(xù)為PAI客戶提供AI模型訓(xùn)練和推理相關(guān)服務(wù)僧须。其中，VideoCLIP-XL作為文視頻質(zhì)量評(píng)估模塊项炼，與EasyAnimate視頻生成解決方案無(wú)縫融合担平，支持用戶輕松實(shí)現(xiàn)文視頻語(yǔ)義一致性計(jì)算和數(shù)據(jù)過濾，從而訓(xùn)練AIGC視頻生成大模型锭部。在智碼實(shí)驗(yàn)室暂论，我們也上架了“VideoCLIP-XL：面向超長(zhǎng)文本的文視頻跨模態(tài)特征抽取”的notebook。
用于數(shù)據(jù)增強(qiáng)和改寫的蒸餾模型也已經(jīng)上架PAI平臺(tái)拌禾，為用戶提供簡(jiǎn)單易用的大模型蒸餾解決方案取胎。基于Qwen2的開源模型湃窍，PAI也在開源了DistilQwen2蒸餾小模型系列闻蛀，進(jìn)一步提升了模型的指令跟隨能力，在HuggingFace和ModelScope開源社區(qū)開放下載您市。
此外觉痛，PAI-QuickStart集成了超過50個(gè)熱門大語(yǔ)言模型，及其多種訓(xùn)練和推理方式茵休，使客戶更加簡(jiǎn)單地微調(diào)和部署大語(yǔ)言模型秧饮。在未來(lái)，我們也將在PAI平臺(tái)上持續(xù)提供業(yè)界領(lǐng)先的算法和模型能力給廣大客戶泽篮。
資源鏈接
文-視頻多模態(tài)
- EasyAnimate開源項(xiàng)目：https://github.com/aigc-apps/EasyAnimate
- VideoCLIP-XL：https://huggingface.co/alibaba-pai/VideoCLIP-XL
- VideoCLIP-XL-v2：https://huggingface.co/alibaba-pai/VideoCLIP-XL-v2
- LVDR數(shù)據(jù)集：https://huggingface.co/alibaba-pai/LVDR
- VILD數(shù)據(jù)集：https://huggingface.co/alibaba-pai/VILD
- VideoCLIP-XL：面向超長(zhǎng)文本的文視頻跨模態(tài)特征抽鹊潦：https://gallery.pai-ml.com/#/preview/deepLearning/cv/videoclipxl
大模型蒸餾
大語(yǔ)言模型數(shù)據(jù)增強(qiáng)與模型蒸餾解決方案：https://help.aliyun.com/zh/pai/use-cases/llm-data-enhancement-and-model-distillation-solution
-
DistilQwen2蒸餾小模型系列
alibaba-pai/DistilQwen2-7B-Instruct：
- https://huggingface.co/alibaba-pai/DistilQwen2-7B-Instruct
- https://modelscope.cn/models/PAI/DistilQwen2-7B-Instruct
alibaba-pai/DistilQwen2-1.5B-Instruct：
論文匯總
論文名字： VideoCLIP-XL: Advancing Long Description Understanding for Video CLIP Models
論文作者： 汪嘉鵬、汪誠(chéng)愚帽撑、黃坤哲泼各、黃俊、金連文
論文pdf鏈接： https://arxiv.org/abs/2410.00741
論文名字： Distilling Instruction-following Abilities of Large Language Models with Task-aware Curriculum Planning
論文作者： 岳元浩亏拉、汪誠(chéng)愚扣蜻、黃俊、王鵬
論文pdf鏈接： https://arxiv.org/abs/2405.13448
阿里云人工智能平臺(tái) PAI 長(zhǎng)期招聘研究實(shí)習(xí)生及塘。團(tuán)隊(duì)專注于深度學(xué)習(xí)算法研究與應(yīng)用莽使，重點(diǎn)聚焦大語(yǔ)言模型和多模態(tài) AIGC 大模型的應(yīng)用算法研究和應(yīng)用。簡(jiǎn)歷投遞和咨詢：chengyu.wcy@alibaba-inc.com笙僚。
