相關(guān)鏈接
docker容器下載較慢時(shí)可以考慮更換國(guó)內(nèi)源
B站教程視頻 1700多種開源大模型隨意部署痘绎！一鍵本地搭建大模型+知識(shí)庫(kù)藤违，不挑環(huán)境、不挑配置
部署過程
ollama安裝
ollama 官網(wǎng)下載一鍵安裝
命令行 輸入 ollama 校驗(yàn)是否安裝成功
成功會(huì)顯示 Usage、 Available Commands 以及 Flags 信息
模型下載運(yùn)行
打開 Ollama 官網(wǎng)稠项，右上角搜索框輸入需要的模型版姑。
如搜索 “通義千問開源版” qwen
找到 pull 次數(shù)最多的蛇耀，點(diǎn)擊進(jìn)入詳情頁(yè)面
選擇對(duì)應(yīng)版本框喳，復(fù)制使用命令 ollama run qwen ，粘貼到命令行 锨并，按下回車露该，ollama 會(huì)自動(dòng)下載并運(yùn)行模型
命令行顯示 success 并 出現(xiàn) “send a message” 表示運(yùn)行成功
管理模型
命令行輸入 ollama list, 顯示已安裝模型
ollama run 模型名字 運(yùn)行模型
rm 模型名字 刪除模型
MaxKB
安裝Docker
Windows：開啟 Hyper - V，點(diǎn)擊安裝包安裝
macOS：點(diǎn)擊安裝包安裝
Linux： 使用包管理器或源碼編譯
運(yùn)行Docker
Docker 安裝完成后第煮，命令行輸入以下命令解幼，數(shù)據(jù)持久化至D盤。實(shí)際部署根據(jù)情況修改位置空盼。
docker run -d --name=maxkb -p 8080:8080 -v D:/maxkb/data:/var/lib/postgresql/data 1panel/maxkb
訪問MaxKB
在瀏覽器訪問 設(shè)備IP:8080, 可以看到 MaxKB 的服務(wù)界面
默認(rèn)密碼
admin
MaxKB@123.
添加模型
【系統(tǒng)設(shè)置】- 【模型設(shè)置】-【添加模型】
選擇 Ollama 书幕，輸入模型名字新荤、模型類型揽趾，選擇基礎(chǔ)模型。
若選項(xiàng)中沒有需要的模型
- 在命令行內(nèi)執(zhí)行命令
ollama list苛骨，復(fù)制模型名字
- ollama 官網(wǎng)內(nèi)查詢模型篱瞎，復(fù)制 run 命令后的模型名字
粘貼到輸入框內(nèi)
輸入 Ollama 的 API 域名 http://設(shè)備IP:11434, 輸入之前可以在瀏覽器輸入“IP:11434” 試一下，如果能正常打開并看見“Ollama is running” 就說明沒問題痒芝。
若 Ollama 和 MaxKB 安裝在不同的設(shè)備 俐筋，一定要保證 MaxKB 所在設(shè)備可以訪問到 Ollma 的地址
( docker 部署則輸入 http://host.docker.internal:11434)
API Key 默認(rèn)是沒有的，隨便輸入 123 即可严衬。
添加應(yīng)用
【應(yīng)用】- 【創(chuàng)建應(yīng)用】
填寫名稱澄者， 選擇剛剛創(chuàng)建的模型類型，配置一下其他設(shè)置请琳，點(diǎn)擊創(chuàng)建即可粱挡。
演示
點(diǎn)擊應(yīng)用圖標(biāo)上的 【演示】按鈕
知識(shí)庫(kù)
【知識(shí)庫(kù)】- 【創(chuàng)建知識(shí)庫(kù)】
填寫名稱和描述，選擇對(duì)應(yīng)的知識(shí)庫(kù)類型俄精，上傳文檔询筏， 點(diǎn)擊 【創(chuàng)建并導(dǎo)入】
然后對(duì)文檔內(nèi)容進(jìn)行分段處理 點(diǎn)擊【開始導(dǎo)入】，知識(shí)庫(kù)創(chuàng)建完成
【應(yīng)用】- 【設(shè)置】-【關(guān)聯(lián)知識(shí)庫(kù)】
還可以根據(jù)需要設(shè)置提示詞和開場(chǎng)白
選擇【概覽】
點(diǎn)擊【演示】竖慧，可以直接訪問并聊天
點(diǎn)擊【嵌入第三方】嫌套，可以把它用不同的形式嵌入到需要的網(wǎng)站中
選擇【命中測(cè)試】逆屡，測(cè)試問題是否能正確關(guān)聯(lián)到知識(shí)庫(kù)的內(nèi)容。
如果文檔中有相關(guān)內(nèi)容但關(guān)聯(lián)不到踱讨，可以通過【參數(shù)調(diào)整】來優(yōu)化
參數(shù)調(diào)整完魏蔗，到設(shè)置中的【關(guān)聯(lián)知識(shí)庫(kù)】-【參數(shù)設(shè)置】同步修改即可
