LLaMa系列模型
- 羊駝模型（鼻祖是LLaMa模型斧蜕，F(xiàn)acebook公司開源模型）：即將成為大模型的安卓荤傲，國內95%的大模型都是羊駝套殼蚣录。
- GPT系列（OpenAI公司）：相當于大模型的iOS（不開源）糕非。
LLaMa模型結構：前面的詞預測后面的詞，經典的解碼結構千绪。位置編碼用的是旋轉自編碼。
大語言模型為什么取名為LLaMa（美洲鴕）梗脾？
LLM發(fā)音困難荸型。兩個LL跟繞口令一樣挑戰(zhàn)舌頭。大家想給它加點原音炸茧，幫助發(fā)音瑞妇。有人加了A稿静，就是LLaMa。
- LLaMa是2023年Meta發(fā)布的基礎LLM模型辕狰，該模型有四個版本改备，分別是7B、13B蔓倍、33B绍妨、65B參數的模型。（LLaMa模型是從零開始訓練的基礎模型柬脸，國內大多數模型都是套殼LLaMa模型）
2.模型的優(yōu)點：
- 開源他去。相比之前的大模型，LLaMa完全是在公共開源預訓練數據上訓練（通用性比較強倒堕，沒有使用封閉的數據）
- 推理效率也是LLaMa的一個亮點灾测，可以在單卡V100完成推理（降低了硬件使用門檻，讓大模型平民化垦巴，訓練模型的成本大大降低）媳搪。
3.模型的訓練和數據：
65B的模型使用2048塊A100 80G的GPU，訓練21天左右骤宣。（訓練成本還是比較高的秦爆，訓練的數據集同GPT一樣）
LLaMa模型訓練的數據集
- 模型下載地址：https://huggingface.co （國內鏡像網站：https://hf-mirror.com/models）
Alpaca模型
- Alpaca是斯坦福從Meta的LLaMA 7B微調而來的全新模型（套殼是微調模型，LLaMA是全調的基礎模型）憔披，僅用了52k數據等限，性能約等于GPT-3.5。
- 訓練成本奇低芬膝，不到600美元望门。（大模型屌絲化）
- 在8個80GB A100 上訓練了3個小時，不到100美元;
- 生成數據使用OpenAl的API锰霜，500美元筹误。（正常是人工來標注數據，人工的成本很高癣缅；這里數據標注使用了OpenAl的接口厨剪，問題問ChatGPT3，用它的回答作為標注數據來進行微調友存，訓練出Alpaca模型）
國內很多大模型都是學Alpaca模型的玩法祷膳，套殼LLaMA模型低成本訓練出自己的模型。
Alpaca模型的訓練流程
Alpaca模型使用了GPT3來標注數據
Vicuna模型
Vicuna模型簡介
Vicuna模型訓練流程
Vicuna模型使用了GPT4來做評估（效果更好）
GPT5短時間暫時不會有爬立，因為GPT4已經突破了人類現(xiàn)在的硬件資源的一個極限钾唬。
羊駝系列模型對比
羊駝系列模型對比
華駝大模型（國內的醫(yī)療大模型）
華駝大模型
百川大模型（搜狗王小川搞的大模型）
LLaMa + 中文數據
業(yè)內有句俗話：一開源就自主研發(fā)，不開源就卡脖子
LLaMa2的提升
模型的提升一般模型本身沒有多大的進化， 主要的提升是堆數據和堆算力抡秆，使模型進行進化奕巍。
LLaMa2.0的訓練也使用了ChatGPT的訓練那套方法：
- 第一步：首先對LLaMa模型通過問答對進行有監(jiān)督的訓練
- 第二步：訓練一個排序模型（就是通過人來標注這個模型輸出的數據，讓這個模型輸出的答案更加符合人類的認知儒士；通過人來對這些輸出的結果打分的止，來調整這個模型，讓這個模型的輸出結果更加符合人的認知）着撩；這個強化模型诅福，就相當于具備了人的情商，理解了人類的喜好拖叙。
- 第三步：用具備人類喜好的這個模型氓润，再來去微調LLaMa，讓這個LLaMa模型輸出的結果更加符合人的認知（相當于具備了情商）薯鳍，這樣就訓練出LLaMa2.0咖气。
微調的效果為什么會好？
原生的基礎LLaMa用的語料是通用語料挖滤。在自己的數據上進行微調崩溪，讓模型能夠滿足自己的需求。微調的本質并不是能把模型效果變好斩松，微調的目的是讓模型更適應于我們的數據伶唯。
完整的大模型課程：《AI大模型訓練營》
