????????接觸大模型有一段時間了，最近學(xué)習(xí)了一下使用LLaMA-Factory來對開源大模型進(jìn)行微調(diào)孩擂，LLaMA-Factory是一個非常好用的開源微調(diào)大模型工具栓辜，GitHub:LLaMA-Facotry颅悉，相關(guān)的介紹可以直接去官方網(wǎng)站上去查看嘀粱。
????????本文基于Ubuntu系統(tǒng)對使用LLaMA-Factory來對qwen2-1.5B模型進(jìn)行微調(diào)嚣镜；
1.安裝部署
1.1.下載LLaMA-Factory
1.2.安裝conda
????????在Ubuntu上安裝Conda爬迟，可以使用Miniconda，這是Conda的一個輕量級版本菊匿。以下是安裝Miniconda的步驟：
????下載Miniconda安裝腳本：
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
????腳本可執(zhí)行：
chmod +x Miniconda3-latest-Linux-x86_64.sh
????運(yùn)行安裝腳本：
./Miniconda3-latest-Linux-x86_64.sh
????安裝完成后雕旨，會在home下會創(chuàng)建miniconda3目錄，然后會自動在.bashrc下面加入PATH
export PATH="/home/user/miniconda3/bin:$PATH"
????????重啟終端或重新加載配置文件（例如捧请，使用source ~/.bashrc）以激活Conda環(huán)境凡涩，安裝完成后，您可以通過運(yùn)行conda --version來檢查Conda是否正確安裝疹蛉。
????????ubuntu中安裝好conda之后活箕，系統(tǒng)終端界面前面出現(xiàn)（base)字樣，永久取消base字樣辦法：
1可款、在新終端中輸入：vim ～/.bashrc
2育韩、在打開的文件最后加上一句命令：conda deactivate
3、重新打開終端即可消除base字樣闺鲸。
1.3.創(chuàng)建虛擬環(huán)境
????創(chuàng)建一個名字為llama_factory的虛擬環(huán)境筋讨，只需創(chuàng)建一次
conda create --name llama_factory python=3.10
????激活虛擬環(huán)境
conda activate llama_factory
????進(jìn)入LLaMA-Factory文件夾
cd LLaMA-Factory
????安裝配置文件
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -e .[torch,metrics]
1.4.下載開源大模型
????????可以選擇自己常用的 LLM，包括 ChatGLM摸恍，BaiChuan悉罕，Qwen，LLaMA 等立镶，把下載好的模型保存到LLaMA-Factory文件夾下壁袄。
????????下載 qwen2-1.5B模型的命令：
git lfs install
git clone https://huggingface.co/Qwen/Qwen2-1.5B # huggingface下載
git clone https://www.modelscope.cn/qwen/Qwen2-1.5B.git # modelscope下載
????下載不下來的話，直接翻墻到對應(yīng)目錄媚媒，點(diǎn)擊下載也可以嗜逻；
????下載完，新建Qwen/Qwen2-1.5B模型文件夾缭召，將下載內(nèi)容放入該文件夾栈顷，然后將模型文件夾放在LLaMA-Factory目錄下，供后面訓(xùn)練的時候使用嵌巷；
2.訓(xùn)練
????????在LLaMA-Factory項目中萄凤，單顯卡可以用命令或web頁面訓(xùn)練，多顯卡只能用用命令的方式晴竞，當(dāng)前系統(tǒng)是單顯卡蛙卤，所以使用的web頁面訓(xùn)練，另外web頁面也比較直觀，在LLaMA-Factory目錄下颤难，執(zhí)行以下命令：
python3 src/webui.py
????執(zhí)行完后神年，終端會顯示如下：
Web界面如下
????界面分上下兩部分：
????上半部分是模型訓(xùn)練的基本配置，有如下參數(shù)：
模型名稱：可以使用常用的模型行嗤，包括 ChatGLM已日，BaiChuan，Qwen栅屏，LLaMA 等
模型路徑：輸入框填寫我們之前下載的模型的地址飘千。
微調(diào)方式：
????full：將整個模型都進(jìn)行微調(diào)。
????freeze：將模型的大部分參數(shù)凍結(jié)栈雳，只對部分參數(shù)進(jìn)行微調(diào)护奈。
????lora：將模型的部分參數(shù)凍結(jié)，只對部分參數(shù)進(jìn)行微調(diào)哥纫，但只在特定的層上進(jìn)行微調(diào)霉旗。
????模型斷點(diǎn)（適配器）：在未開始微調(diào)前為空，微調(diào)一次后可以點(diǎn)擊刷新斷點(diǎn)（適配器）按鈕蛀骇，會得到之前微調(diào)過的斷點(diǎn)（適配器）厌秒。
下半部分是一個頁簽窗口，分為Train擅憔、Evaluate鸵闪、Chat、Export四個頁簽暑诸，
????微調(diào)先看Train界面：
訓(xùn)練階段：選擇訓(xùn)練階段蚌讼，分為預(yù)訓(xùn)練（Pre-Training）、指令監(jiān)督微調(diào)（Supervised Fine-Tuning）屠列、獎勵模型訓(xùn)練（Reward Modeling）啦逆、PPO 伞矩、DPO 五種
這里我們選擇指令監(jiān)督微調(diào)（Supervised Fine-Tuning）笛洛。
數(shù)據(jù)集
????數(shù)據(jù)格式：
[
????{
????????"instruction": "用戶指令（必填）",#通常用于存儲指示模型生成輸出的指令
????????"input": "用戶輸入（選填）",
????????"output": "模型回答（必填）",
????????"system": "系統(tǒng)提示詞（選填）",
????????"history": [
????????????????["第一輪指令（選填）", "第一輪回答（選填）"],
????????????????["第二輪指令（選填）", "第二輪回答（選填）"]
????????]
????}
]
????????如果采用自行準(zhǔn)備的數(shù)據(jù)集，要在 LLaMA Factory目錄下data目錄下的dataset_info.json添加新數(shù)據(jù)集信息乃坤，llm_data.json是按照上面的數(shù)據(jù)格式構(gòu)造的訓(xùn)練樣本數(shù)據(jù)苛让。
"llm_type":{
????"file_name":"llm_data.json"
}
????????以上都設(shè)置及準(zhǔn)備好后，點(diǎn)擊開始就開始微調(diào)訓(xùn)練了湿诊，輸出目錄為：
LLaMA-Factory/saves/Qwen2-1.5B/lora/train_2024-07-16-14-53-45
????????訓(xùn)練過程中可以在終端下看到詳細(xì)日志輸出：
訓(xùn)練完成后狱杰，會在webui界面顯示訓(xùn)練完畢。
3.驗證推理
????1.在網(wǎng)頁界面厅须，選擇Chat仿畸，加載模型，檢查點(diǎn)路徑：train_2024-07-16-14-53-45，推理數(shù)據(jù)類型：bfloat16错沽，加載完成后簿晓，就可以進(jìn)行聊天了
????2.導(dǎo)出模型，選擇Export選項千埃，導(dǎo)出目錄/home/LLM/QwenSft
然后可以通過代碼來進(jìn)行驗證憔儿，實現(xiàn)如下：
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
torch.manual_seed(0)
path = '/home/LLM/QwenSft'
def chat_with_qwen(content):
tokenizer = AutoTokenizer.from_pretrained(path)
model = AutoModelForCausalLM.from_pretrained(path, torch_dtype=torch.bfloat16, device_map='cpu', trust_remote_code=True)
messages = [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": content}
]
text = tokenizer.apply_chat_template(messages,tokenize=False,add_generation_prompt=True)
model_inputs = tokenizer([text], return_tensors="pt").to("cpu")
generated_ids = model.generate(**model_inputs,max_new_tokens=512)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)
????本文簡單總結(jié)了一下使用LLaMA-Factory開源工具來訓(xùn)練開源大模型的一個基本流程，后面會繼續(xù)深入了解放可，有新的收獲會繼續(xù)更新文章，感謝https://zhuanlan.zhihu.com/p/691239463
