說明:
- 以下命令很多都和執(zhí)行路徑有關(guān),注意路徑的約定和cd命令竿开,如果沒有新的cd芹彬,后續(xù)的命令執(zhí)行的都在之前的路徑上執(zhí)行
- 以下文檔Langchain-Chatchat版本為0.2.10,不保證兼容其他版本
- 本文在阿里云ECS服務(wù)器上運(yùn)行通過会涎,可用區(qū):杭州J裹匙,配置:8C8G100M
- 輕量模型,意味不需要GPU支持
1. 安裝環(huán)境(git末秃、conda概页、python3.9)
1.1 安裝git
sudo yum update
sudo yum install -y git
1.2 安裝git-lfs
sudo yum install -y git-lfs
1.3 下載安裝conda(miniconda)
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh
1.3.1 接受協(xié)議
安裝開始會(huì)顯示是否接受協(xié)議,點(diǎn)回車接受练慕,然后顯示協(xié)議內(nèi)容惰匙,按"q"退出協(xié)議內(nèi)容技掏,接著輸入"yes"完成接受
1.3.2 配置安裝路徑
"回車"接受
1.3.3 初始化
輸入"yes"
1.3.4 重新打開shell
比如關(guān)掉當(dāng)前連接窗口重新打開
1.4 配置python環(huán)境
目錄/root/code/langchain-chatchat,可以改项鬼,但本文以此介紹
1.4.1 創(chuàng)建python環(huán)境
conda create -p /root/code/langchain-chatchat python=3.9
1.4.2 激活環(huán)境
source activate /root/code/langchain-chatchat
2. 部署代碼
2.1 進(jìn)入目錄
cd /root/code/langchain-chatchat/
2.2 拉取代碼
git clone --recursive https://github.com/chatchat-space/Langchain-Chatchat.git
2.3 進(jìn)入目錄
cd Langchain-Chatchat
2.4 安裝依賴
pip install setuptools-scm
pip install seqeval
pip install -r requirements.txt
pip install -r requirements_lite.txt
pip install -r requirements_api.txt
pip install -r requirements_webui.txt
(執(zhí)行依賴的過程中如果出現(xiàn)報(bào)錯(cuò)哑梳,要再執(zhí)行一次,有時(shí)候可能因?yàn)榫W(wǎng)絡(luò)問題部分依賴沒下載安裝成功)
2.5 下載模型
git clone https://www.modelscope.cn/AI-ModelScope/bge-large-zh-v1.5.git
自動(dòng)下載模型會(huì)從hf下載绘盟,需要網(wǎng)絡(luò)鸠真,所以換成用本地的,并換成從魔搭下載龄毡,bge-large-zh-v1.5為配置文件中默認(rèn)的模型吠卷,可以根據(jù)需要更換并從魔搭上找對(duì)應(yīng)的地址
注意下載下來的路徑就在 /root/code/langchain-chatchat/Langchain-Chatchat/ 下的文件夾里面,否則初始化數(shù)據(jù)庫可能會(huì)失敗
3. 運(yùn)行
3.1 配置
3.1.1 復(fù)制配置文件
python copy_config_example.py
3.1.2 注冊(cè)智譜AI沦零,獲取api_key
(略)
參考智譜官網(wǎng)
3.1.3 修改API_KEY
vi configs/model_config.py
找到 zhipu-api祭隔,在api_key,填入智譜的api_key蠢终,如下圖
image.png
3.2 初始化知識(shí)庫數(shù)據(jù)庫
python init_database.py --recreate-vs
3.2 啟動(dòng)
python startup.py -a --lite
3.3 訪問
http://ip:8501/
注意ECS的安全組里面要增加8501序攘,否則外網(wǎng)可能訪問不了,因?yàn)?501端口默認(rèn)沒開放
image.png
運(yùn)行效果如圖
image.png
問答效果
image.png