我們之前說大模型有四種玩家绪励，其中前三種都是要做模型訓(xùn)練的肿孵。而大部分公司或個人，都是在第二種開源大模型的基礎(chǔ)上來做訓(xùn)練疏魏。
而這種訓(xùn)練方式又分為兩種停做。一種要么就是從頭訓(xùn)練，要么就Fine-tuning接著開源模型來訓(xùn)練大莫，在基座模型已經(jīng)訓(xùn)練好的基礎(chǔ)上去做微調(diào)蛉腌。
網(wǎng)上有個很火開源模型，叫羊駝只厘。
其實是這個人Vallejo利用Meta公司開源的LLama 7B的模型微調(diào)出來的全新模型烙丛，依然是開源的。他僅僅用了52KB大小的數(shù)據(jù)集羔味，然后把Llama訓(xùn)練出來的能力竟然約等于GPT-3.5河咽，而且它的訓(xùn)練成本很低，不到600美金介评，他只是在8個80G的H100 GPU上訓(xùn)練3個小時库北，這個訓(xùn)練費用這個花費其實才不到100美金，更費錢的其實是數(shù)據(jù)的收集们陆，因為他只是一個研究學(xué)者寒瓦，他沒有數(shù)據(jù)，于是他利用OpenAI的API坪仇，相當(dāng)于調(diào)用GPT-3.5一問一答杂腰，生成了一批數(shù)據(jù)，調(diào)用API花了500美金椅文。假如他本身就有數(shù)據(jù)的話喂很，他可能連這500美金都不用花〗源蹋可見這個微調(diào)模型的成本其實是挺低的少辣。
下面這個羊駝就是這個模型的logo，現(xiàn)在羊駝的變體也出了很多羡蛾，也是基于不同數(shù)據(jù)訓(xùn)練出來的漓帅。其實對我們大部分團隊來說，如果要訓(xùn)練一個大模型痴怨，從頭開始訓(xùn)練的話忙干，得考慮清楚幾點，一個是周期很長浪藻，第二是數(shù)據(jù)量會要求很多捐迫，第三個也是最重要的一個就是成本很高，這個普通玩家玩不起的爱葵，所以這也是為什么更多團隊現(xiàn)在都傾向于做這種垂直大模型的微調(diào)施戴。
最常用的微調(diào)方式就是這種反浓，叫LoRA，名字挺好記的赞哗，全稱是Low-Rank Adaptation of Large Language Models勾习。當(dāng)然除了這個是最主流的，還有prompt-tuning, 基于提示詞的微調(diào)方法懈玻，F(xiàn)reeze凍結(jié)部分參數(shù)的方式來做微調(diào)等等。嚴格上來說乾颁，LoRA屬于有監(jiān)督微調(diào)(SFT)的一種涂乌。
LoRA這種方法為啥這么好呢，就是因為它節(jié)省算力資源呀英岭，它的基本原理就是可以凍結(jié)預(yù)訓(xùn)練模型的全部參數(shù)權(quán)重湾盒，然后只在新增的網(wǎng)絡(luò)層去做訓(xùn)練，你可以理解為做一些新增的參數(shù)訓(xùn)練诅妹。通俗來講罚勾，咱們拿到這個開源模型之后，原始的參數(shù)不動吭狡，只是動新增的部分尖殃，這種微調(diào)經(jīng)過LoRA這種技術(shù)一處理，除了省資源划煮，居然效果也不錯送丰，不亞于其他不能怎么凍結(jié)參數(shù)的微調(diào)方式。而我們微調(diào)的一小部分的數(shù)據(jù)就可以根據(jù)你的興趣來弛秋，假如說我們要訓(xùn)練一個治安場景的問答模型器躏，那我就把這個行業(yè)收集的大量知識，做一個知識庫用LoRA喂給大模型蟹略，我只訓(xùn)練這一小部分登失，成本即低還快。這個就叫大語言模型的低級別適應(yīng)方法(LoRA)挖炬。
今天大概先分享這么多揽浙，關(guān)于LoRA的更多原理，我只能找淺顯得跟大家科普下茅茂，再多的就要專業(yè)的算法專家來科普了捏萍。希望我的分享能夠讓你知其一二。
