1、Ollama 簡(jiǎn)介
Ollama 是一個(gè)開(kāi)源的本地化大模型部署工具布朦,旨在簡(jiǎn)化大型語(yǔ)言模型(LLM)的安裝囤萤、運(yùn)行和管理。它支持多種模型架構(gòu)是趴,并提供與 OpenAI 兼容的 API 接口涛舍,適合開(kāi)發(fā)者和企業(yè)快速搭建私有化 AI 服務(wù)。
Ollama 的主要特點(diǎn)包括:
- 輕量化部署:支持在本地設(shè)備上運(yùn)行模型唆途,無(wú)需依賴云端服務(wù)富雅。
- 多模型支持:兼容多種開(kāi)源模型,如 LLaMA肛搬、DeepSeek 等没佑。
- 高效管理:提供命令行工具,方便用戶下載温赔、加載和切換模型蛤奢。
- 跨平臺(tái)支持:支持 Windows、macOS 和 Linux 系統(tǒng)。
2啤贩、DeepSeek-R1 簡(jiǎn)介
DeepSeek-R1 是由深度求索(DeepSeek)公司開(kāi)發(fā)的高性能 AI 推理模型待秃,專注于數(shù)學(xué)、代碼和自然語(yǔ)言推理任務(wù)痹屹。其核心優(yōu)勢(shì)包括:
- 強(qiáng)化學(xué)習(xí)驅(qū)動(dòng):通過(guò)強(qiáng)化學(xué)習(xí)技術(shù)顯著提升推理能力章郁,僅需少量標(biāo)注數(shù)據(jù)即可高效訓(xùn)練。
- 長(zhǎng)鏈推理(CoT):支持多步驟邏輯推理痢掠,能夠逐步分解復(fù)雜問(wèn)題并解決驱犹。
- 模型蒸餾:支持將推理能力遷移到更小型的模型中,適合資源有限的場(chǎng)景足画。
- 開(kāi)源生態(tài):遵循 MIT 開(kāi)源協(xié)議雄驹,允許用戶自由使用、修改和商用淹辞。
DeepSeek-R1 在多個(gè)基準(zhǔn)測(cè)試中表現(xiàn)優(yōu)異医舆,性能對(duì)標(biāo) OpenAI 的 o1 正式版,同時(shí)具有更高的性價(jià)比象缀。
3蔬将、使用 Ollama 部署 DeepSeek-R1
3.1、安裝 Ollama
下載 Ollama: 訪問(wèn) Ollama 官網(wǎng)央星,根據(jù)操作系統(tǒng)(Windows霞怀、macOS 或 Linux)下載安裝包,并按照說(shuō)明進(jìn)行安裝莉给。
- 官網(wǎng):https://ollama.com/
- Github:https://github.com/ollama/ollama
驗(yàn)證安裝:在終端中運(yùn)行以下命令驗(yàn)證安裝:
ollama --version
如果安裝成功毙石,命令行會(huì)顯示 Ollama 的版本信息。
admin@Mac-miniM4 ~ % ollama --version
ollama version is 0.5.7
3.2颓遏、下載 DeepSeek-R1 模型
Ollama已支持DeepSeek-R1, 模型地址:deepseek-r1 徐矩。
下載模型:
根據(jù)自己的顯存選擇對(duì)應(yīng)的模型,macmini m4 16g 可流暢支持 7b叁幢。
使用以下命令下載 DeepSeek-R1 模型:
ollama pull deepseek-r1:1.5b
查看模型信息:
下載完成后滤灯,可以使用以下命令查看模型信息:
ollama list
該命令會(huì)顯示已下載的模型列表,包括名稱曼玩、大小和路徑等鳞骤。
運(yùn)行 DeepSeek-R1:
使用以下命令啟動(dòng) DeepSeek-R1 模型:
ollama run deepseek-r1:1.5b
該命令會(huì)啟動(dòng) DeepSeek-R1 模型,并啟動(dòng)一個(gè) REPL(交互式終端)演训,你可以在這里輸入問(wèn)題弟孟,模型會(huì)根據(jù)問(wèn)題生成回答。
admin@Mac-miniM4 ~ % ollama run deepseek-r1:1.5b
>>> 你好样悟,介紹一下你自己
<think>
您好!我是由中國(guó)的深度求索(DeepSeek)公司開(kāi)發(fā)的智能助手DeepSeek-R1。如您有任何任何問(wèn)題窟她,我會(huì)盡我所
能為您提供幫助陈症。
</think>
您好!我是由中國(guó)的深度求索(DeepSeek)公司開(kāi)發(fā)的智能助手DeepSeek-R1震糖。如您有任何任何問(wèn)題录肯,我會(huì)盡我所
能為您提供幫助。
4吊说、部署 Open-WebUI 增強(qiáng)交互體驗(yàn)
Ollama與Open WebUI結(jié)合论咏,可以提供更豐富的交互體驗(yàn)。 可選擇任意支持Ollama的webUI颁井,如 AnythingLLM厅贪、Dify、Open-WebUI 等雅宾。
- AnythingLLM:更專注于文檔知識(shí)庫(kù)與問(wèn)答場(chǎng)景养涮,自帶向量檢索管理,可“多文檔整合”眉抬,接入 Ollama 后實(shí)現(xiàn)本地化問(wèn)答贯吓。
- Dify:功能多元,適合對(duì)話流管理蜀变、插件化擴(kuò)展悄谐、團(tuán)隊(duì)協(xié)同等復(fù)雜需求。只要能在其后臺(tái)正確配置 Ollama 地址库北,即可靈活調(diào)用爬舰。
- Open-WebUI:定位純聊天界面,支持多模型集成贤惯,你可以把它當(dāng)做一個(gè)能“輕松切換模型洼专、馬上對(duì)話”的 Web 面板,如果只是想單純體驗(yàn) Ollama 的生成效果孵构,Open-WebUI 是最方便的屁商。
本文場(chǎng)景比較簡(jiǎn)單,選擇與Ollama結(jié)合比較緊密的open-webui颈墅。
- Open-WebUI:https://github.com/open-webui/open-webui
- 官方文檔:https://docs.openwebui.com/getting-started/quick-start/
下載 Open-WebUI:
本地使用 docker 部署Open-WebUI蜡镶,使用以下命令下載 Open-WebUI:
docker pull ghcr.io/open-webui/open-webui:main
啟動(dòng) Open-WebUI:
// 創(chuàng)建本地目錄,避免重啟后數(shù)據(jù)丟失
mkdir /Users/admin/program/docker/instance/open-webui/data
cd /Users/admin/program/docker/instance/open-webui
// 啟動(dòng)容器
docker run -d -p 3000:8080 -v $PWD/data:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main
啟動(dòng)成功后恤筛,可在終端中查看容器狀態(tài)官还,通過(guò)瀏覽器訪問(wèn)Open-WebUI:http://localhost:3000
配置 Ollama 地址:
瀏覽器進(jìn)入 Open-WebUI 后,點(diǎn)擊右上角的設(shè)置圖標(biāo) 進(jìn)入設(shè)置頁(yè)面毒坛。在“模型”選項(xiàng)卡中望伦,點(diǎn)擊“添加模型”林说,選擇“Ollama”,并輸入 Ollama 的地址(默認(rèn)為 http://localhost:11434)屯伞。
測(cè)試功能:
在 Open-WebUI 中腿箩,你可以選擇使用 Ollama 的不同模型,新建對(duì)話并體驗(yàn)不同的功能劣摇。例如:
- 智能客服:輸入“如何安裝Ollama珠移?”。
- 內(nèi)容創(chuàng)作:輸入“為DeepSeek寫一篇入門指南”末融。
- 編程輔助:輸入“用 Java 實(shí)現(xiàn)快速排序”钧惧。
- 教育輔助:輸入“解釋牛頓第二定律”。