1 安裝模型部署工具
Ollama是一款開源的本地化大型語言模型(LLM)運行和部署工具讶踪,專注于簡化大型語言模型在本地環(huán)境中的安裝、管理和交互流程牛郑。它特別適合開發(fā)者和研究者快速在本地計算機(尤其是支持GPU的設(shè)備)上運行如Llama菊霜、Mistral、Gemma等主流開源大模型金抡,無需復雜的配置即可直接體驗模型能力。
1.1 下載Ollama
使用瀏覽器打開Ollama下載地址,當前Ollama提供macOS梅鹦、Linux、Windows三種操作系統(tǒng)的安裝包冗锁,讀者選擇合適的安裝包進行下載齐唆,筆者以macOS為例。
1.2 安裝Ollama
1.3 驗證安裝是否成功
安裝完成后冻河,如何判斷Ollama安裝成功呢箍邮?在macOS上使用快捷鍵Command + 空格鍵
方式打開聚焦搜索框,輸入“終端”叨叙,按回車鍵打開終端應用程序锭弊。在終端應用程序中輸入ollama -v
命令,如果完整輸出Ollama的版本信息擂错,則表示安裝成功味滞。否則,重新打開Ollama安裝包進行安裝钮呀。
2 部署DeepSeek R1模型
在Ollama官網(wǎng)切換Models頁簽剑鞍,選擇第一個deepseek-r1模型。
2.1 DeepSeek-R1模型
DeepSeek-R1提供了蒸餾后的小模型1.5b行楞、7b攒暇、8b、14b子房、32b形用、70b就轧,以及基礎(chǔ)大模型671b,區(qū)別主要體現(xiàn)在參數(shù)規(guī)模田度、模型容量妒御、性能表現(xiàn)、準確性镇饺、訓練成本乎莉、推理成本、適用場景以及硬件要求方面奸笤。筆者嘗試使用1.5b模型惋啃,相較于其他模型對硬件的要求比較低,可用于學習监右。
進入deepseek-r1模型詳細頁面边灭,在列表中選擇1.5b,然后復制ollama運行命令健盒。
2.2 下載DeepSeek-R1模型
在終端中粘貼復制的Ollama命令ollama run deepseek-r1:1.5b
绒瘦,當然我們可以指定其存儲路徑。
注:下載速度過慢扣癣,可以使用^+C退出命令惰帽,然后重新輸入命令啟動下載。
下載完成后父虑,會出現(xiàn)success该酗,表示我們現(xiàn)在可以直接進行對話,或者輸入/?
獲取具體的命令列表频轿。
2.3 初次體驗
接下來垂涯,讓它幫用Java語言編寫輸出9*9乘法口訣的代碼,并輸出結(jié)果航邢。首先耕赘,模型對我們的需求進行了詳細的推理,這種明確的推理過程有效的幫助了用戶對問題的認知膳殷。
模型根據(jù)推理過程操骡,輸出我們需要的具體內(nèi)容。
這種形式的輸入輸出對于用于來說赚窃,不是很友好册招,就上面輸出結(jié)果而言,代碼缺少高亮勒极。接下來是掰,我們將
使用一些開源的、支持多種流行LLM模型的桌面客戶端來讓我們的模型更傾向于用戶的使用習慣辱匿。
3 Chatbox
Chatbox是一款支持多種流行LLM模型的桌面客戶端键痛,當前提供macOS炫彩、Windows、Linux操作系統(tǒng)安裝包絮短。
安裝完成后江兢,在打開的Chatbox中選擇“使用自己的API Key或本地模型”。
在“選擇并配置AI模型提供方”彈窗中選擇本地部署的“Ollama API”丁频。
接下來杉允,需要配置我們的模型,在模型下拉列表中選擇我們部署到本地的deepseek-r1:1.5b席里,其他的默認即可叔磷,點擊“保存”按鈕保存即可。
我們依舊使用2.3小節(jié)的體驗示例來體驗我們的配置的deepseek-r1:1.5b模型胁勺,可以在對話框右上角查看當前使用的模型世澜。