使用Ollama本地化部署DeepSeek

1、Ollama 簡(jiǎn)介

Ollama 是一個(gè)開(kāi)源的本地化大模型部署工具布朦,旨在簡(jiǎn)化大型語(yǔ)言模型(LLM)的安裝囤萤、運(yùn)行和管理。它支持多種模型架構(gòu)是趴,并提供與 OpenAI 兼容的 API 接口涛舍,適合開(kāi)發(fā)者和企業(yè)快速搭建私有化 AI 服務(wù)。

Ollama 的主要特點(diǎn)包括:

  • 輕量化部署:支持在本地設(shè)備上運(yùn)行模型唆途,無(wú)需依賴云端服務(wù)富雅。
  • 多模型支持:兼容多種開(kāi)源模型,如 LLaMA肛搬、DeepSeek 等没佑。
  • 高效管理:提供命令行工具,方便用戶下載温赔、加載和切換模型蛤奢。
  • 跨平臺(tái)支持:支持 Windows、macOS 和 Linux 系統(tǒng)。
截屏

2啤贩、DeepSeek-R1 簡(jiǎn)介

DeepSeek-R1 是由深度求索(DeepSeek)公司開(kāi)發(fā)的高性能 AI 推理模型待秃,專注于數(shù)學(xué)、代碼和自然語(yǔ)言推理任務(wù)痹屹。其核心優(yōu)勢(shì)包括:

  • 強(qiáng)化學(xué)習(xí)驅(qū)動(dòng):通過(guò)強(qiáng)化學(xué)習(xí)技術(shù)顯著提升推理能力章郁,僅需少量標(biāo)注數(shù)據(jù)即可高效訓(xùn)練。
  • 長(zhǎng)鏈推理(CoT):支持多步驟邏輯推理痢掠,能夠逐步分解復(fù)雜問(wèn)題并解決驱犹。
  • 模型蒸餾:支持將推理能力遷移到更小型的模型中,適合資源有限的場(chǎng)景足画。
  • 開(kāi)源生態(tài):遵循 MIT 開(kāi)源協(xié)議雄驹,允許用戶自由使用、修改和商用淹辞。

DeepSeek-R1 在多個(gè)基準(zhǔn)測(cè)試中表現(xiàn)優(yōu)異医舆,性能對(duì)標(biāo) OpenAI 的 o1 正式版,同時(shí)具有更高的性價(jià)比象缀。

image.png

3蔬将、使用 Ollama 部署 DeepSeek-R1

3.1、安裝 Ollama

下載 Ollama: 訪問(wèn) Ollama 官網(wǎng)央星,根據(jù)操作系統(tǒng)(Windows霞怀、macOS 或 Linux)下載安裝包,并按照說(shuō)明進(jìn)行安裝莉给。

驗(yàn)證安裝:在終端中運(yùn)行以下命令驗(yàn)證安裝:

ollama --version

如果安裝成功毙石,命令行會(huì)顯示 Ollama 的版本信息。

admin@Mac-miniM4 ~ % ollama --version  
ollama version is 0.5.7
3.2颓遏、下載 DeepSeek-R1 模型

Ollama已支持DeepSeek-R1, 模型地址:deepseek-r1 徐矩。

image.png

下載模型

根據(jù)自己的顯存選擇對(duì)應(yīng)的模型,macmini m4 16g 可流暢支持 7b叁幢。
使用以下命令下載 DeepSeek-R1 模型:

ollama pull deepseek-r1:1.5b

查看模型信息

下載完成后滤灯,可以使用以下命令查看模型信息:

ollama list

該命令會(huì)顯示已下載的模型列表,包括名稱曼玩、大小和路徑等鳞骤。

運(yùn)行 DeepSeek-R1:

使用以下命令啟動(dòng) DeepSeek-R1 模型:

ollama run deepseek-r1:1.5b

該命令會(huì)啟動(dòng) DeepSeek-R1 模型,并啟動(dòng)一個(gè) REPL(交互式終端)演训,你可以在這里輸入問(wèn)題弟孟,模型會(huì)根據(jù)問(wèn)題生成回答。

admin@Mac-miniM4 ~ % ollama run deepseek-r1:1.5b
>>> 你好样悟,介紹一下你自己
<think>
您好!我是由中國(guó)的深度求索(DeepSeek)公司開(kāi)發(fā)的智能助手DeepSeek-R1。如您有任何任何問(wèn)題窟她,我會(huì)盡我所
能為您提供幫助陈症。
</think>

您好!我是由中國(guó)的深度求索(DeepSeek)公司開(kāi)發(fā)的智能助手DeepSeek-R1震糖。如您有任何任何問(wèn)題录肯,我會(huì)盡我所
能為您提供幫助。

4吊说、部署 Open-WebUI 增強(qiáng)交互體驗(yàn)

Ollama與Open WebUI結(jié)合论咏,可以提供更豐富的交互體驗(yàn)。 可選擇任意支持Ollama的webUI颁井,如 AnythingLLM厅贪、Dify、Open-WebUI 等雅宾。

  • AnythingLLM:更專注于文檔知識(shí)庫(kù)與問(wèn)答場(chǎng)景养涮,自帶向量檢索管理,可“多文檔整合”眉抬,接入 Ollama 后實(shí)現(xiàn)本地化問(wèn)答贯吓。
  • Dify:功能多元,適合對(duì)話流管理蜀变、插件化擴(kuò)展悄谐、團(tuán)隊(duì)協(xié)同等復(fù)雜需求。只要能在其后臺(tái)正確配置 Ollama 地址库北,即可靈活調(diào)用爬舰。
  • Open-WebUI:定位純聊天界面,支持多模型集成贤惯,你可以把它當(dāng)做一個(gè)能“輕松切換模型洼专、馬上對(duì)話”的 Web 面板,如果只是想單純體驗(yàn) Ollama 的生成效果孵构,Open-WebUI 是最方便的屁商。

本文場(chǎng)景比較簡(jiǎn)單,選擇與Ollama結(jié)合比較緊密的open-webui颈墅。

下載 Open-WebUI

本地使用 docker 部署Open-WebUI蜡镶,使用以下命令下載 Open-WebUI:

docker pull ghcr.io/open-webui/open-webui:main

啟動(dòng) Open-WebUI

// 創(chuàng)建本地目錄,避免重啟后數(shù)據(jù)丟失
mkdir /Users/admin/program/docker/instance/open-webui/data
cd /Users/admin/program/docker/instance/open-webui

// 啟動(dòng)容器
docker run -d -p 3000:8080 -v $PWD/data:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main 

啟動(dòng)成功后恤筛,可在終端中查看容器狀態(tài)官还,通過(guò)瀏覽器訪問(wèn)Open-WebUI:http://localhost:3000

配置 Ollama 地址

瀏覽器進(jìn)入 Open-WebUI 后,點(diǎn)擊右上角的設(shè)置圖標(biāo) 進(jìn)入設(shè)置頁(yè)面毒坛。在“模型”選項(xiàng)卡中望伦,點(diǎn)擊“添加模型”林说,選擇“Ollama”,并輸入 Ollama 的地址(默認(rèn)為 http://localhost:11434)屯伞。

測(cè)試功能:

在 Open-WebUI 中腿箩,你可以選擇使用 Ollama 的不同模型,新建對(duì)話并體驗(yàn)不同的功能劣摇。例如:

  • 智能客服:輸入“如何安裝Ollama珠移?”。
  • 內(nèi)容創(chuàng)作:輸入“為DeepSeek寫一篇入門指南”末融。
  • 編程輔助:輸入“用 Java 實(shí)現(xiàn)快速排序”钧惧。
  • 教育輔助:輸入“解釋牛頓第二定律”。
image.png
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末勾习,一起剝皮案震驚了整個(gè)濱河市浓瞪,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌语卤,老刑警劉巖追逮,帶你破解...
    沈念sama閱讀 217,907評(píng)論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異粹舵,居然都是意外死亡钮孵,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,987評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門眼滤,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)巴席,“玉大人,你說(shuō)我怎么就攤上這事诅需⊙Γ” “怎么了?”我有些...
    開(kāi)封第一講書人閱讀 164,298評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵堰塌,是天一觀的道長(zhǎng)赵刑。 經(jīng)常有香客問(wèn)我,道長(zhǎng)场刑,這世上最難降的妖魔是什么般此? 我笑而不...
    開(kāi)封第一講書人閱讀 58,586評(píng)論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮牵现,結(jié)果婚禮上铐懊,老公的妹妹穿的比我還像新娘。我一直安慰自己瞎疼,他們只是感情好科乎,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,633評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著贼急,像睡著了一般茅茂。 火紅的嫁衣襯著肌膚如雪捏萍。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書人閱讀 51,488評(píng)論 1 302
  • 那天玉吁,我揣著相機(jī)與錄音照弥,去河邊找鬼腻异。 笑死进副,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的悔常。 我是一名探鬼主播影斑,決...
    沈念sama閱讀 40,275評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼机打!你這毒婦竟也來(lái)了矫户?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書人閱讀 39,176評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤残邀,失蹤者是張志新(化名)和其女友劉穎皆辽,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體芥挣,經(jīng)...
    沈念sama閱讀 45,619評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡驱闷,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,819評(píng)論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了空免。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片空另。...
    茶點(diǎn)故事閱讀 39,932評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖蹋砚,靈堂內(nèi)的尸體忽然破棺而出扼菠,到底是詐尸還是另有隱情,我是刑警寧澤坝咐,帶...
    沈念sama閱讀 35,655評(píng)論 5 346
  • 正文 年R本政府宣布循榆,位于F島的核電站,受9級(jí)特大地震影響墨坚,放射性物質(zhì)發(fā)生泄漏秧饮。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,265評(píng)論 3 329
  • 文/蒙蒙 一框杜、第九天 我趴在偏房一處隱蔽的房頂上張望浦楣。 院中可真熱鬧,春花似錦咪辱、人聲如沸振劳。這莊子的主人今日做“春日...
    開(kāi)封第一講書人閱讀 31,871評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)历恐。三九已至寸癌,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間弱贼,已是汗流浹背蒸苇。 一陣腳步聲響...
    開(kāi)封第一講書人閱讀 32,994評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留吮旅,地道東北人溪烤。 一個(gè)月前我還...
    沈念sama閱讀 48,095評(píng)論 3 370
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像庇勃,于是被迫代替她去往敵國(guó)和親檬嘀。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,884評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容