大模型(含deepseek r1)本地部署利器ollama的API操作指南

ollama介紹:

Ollama 是一個開源的大型語言模型(LLM)平臺买优,旨在讓用戶能夠輕松地在本地運行泡挺、管理和與大型語言模型進行交互迫皱。它支持多種預訓練的大型語言模型(如 LLaMA2摊腋、Mistral、Gemma哈雏、DeepSeek 等)楞件,并提供了一個簡單高效的方式來加載和使用這些模型。

  • 出現(xiàn)Error: something went wrong, please see the ollama server logs for details的問題原因 主要是網絡問題導致的裳瘪,尤其是設置了代理環(huán)境變量(終端FQ目的)
  • 關于DeepSeek本地部署指南(ollama的應用)可以看下我之前寫的文章:DeepSeek R1本地與線上滿血版部署:超詳細手把手指南

ollama 的API:

官方api操作手冊如下:https://github.com/ollama/ollama/blob/main/docs/api.md

下面是ollama官網所有API的命令供參考:

命令 描述 請求方法 請求URL 請求體/參數(shù) 響應示例 中文說明
Generate a completion 根據給定的提示生成文本響應土浸。 POST /api/generate {"model": "llama3.2", "prompt": "Why is the sky blue?"} {"model": "llama3.2", "response": "The sky is blue because...", "done": true} 使用指定模型生成文本響應,支持流式響應彭羹。
Generate a chat completion 生成聊天對話中的下一條消息栅迄。 POST /api/chat {"model": "llama3.2", "messages": [{"role": "user", "content": "Hello!"}]} {"message": {"role": "assistant", "content": "Hello! How are you today?"}} 用于生成聊天機器人回復,支持對話歷史和流式響應皆怕。
Create a Model 創(chuàng)建模型(從其他模型毅舆、safetensors目錄或GGUF文件)。 POST /api/create {"model": "mario", "from": "llama3.2", "system": "You are Mario"} {"status": "success"} 創(chuàng)建新模型愈腾,支持從現(xiàn)有模型或文件創(chuàng)建憋活。
List Local Models 列出本地可用的模型。 GET /api/tags 無請求體 {"models": [{"name": "llama3:latest", "size": 3825819519, ...}]} 列出本地已有的模型及其相關信息虱黄。
Show Model Information 顯示模型的詳細信息(包括參數(shù)悦即、模板等)。 POST /api/show {"model": "llama3.2"} {"modelfile": "...", "parameters": "...", "template": "...", ...} 獲取指定模型的詳細信息橱乱。
Copy a Model 復制一個現(xiàn)有模型到新的名稱辜梳。 POST /api/copy {"source": "llama3.2", "destination": "llama3-backup"} 返回200 OK 將一個模型復制為另一個名稱。
Delete a Model 刪除一個模型及其數(shù)據泳叠。 DELETE /api/delete {"model": "llama3:13b"} 返回200 OK 刪除指定模型作瞄。
Pull a Model 從Ollama庫下載模型。 POST /api/pull {"model": "llama3.2"} {"status": "success"} 下載模型到本地危纫,支持斷點續(xù)傳宗挥。
Push a Model 將模型上傳到Ollama庫乌庶。 POST /api/push {"model": "mattw/pygmalion:latest"} {"status": "success"} 將本地模型上傳到Ollama庫。
Generate Embeddings 生成文本的嵌入向量契耿。 POST /api/embed {"model": "all-minilm", "input": "Why is the sky blue?"} {"embeddings": [[0.010071029, -0.0017594862, ...]]} 使用指定模型生成文本的嵌入向量瞒大。
List Running Models 列出當前加載到內存中的模型。 GET /api/ps 無請求體 {"models": [{"name": "mistral:latest", "size": 5137025024, ...}]} 列出當前運行的模型及其相關信息搪桂。
Version 獲取Ollama版本信息透敌。 GET /api/version 無請求體 {"version": "0.5.1"} 獲取Ollama服務器的版本號。

如果你在使用ollama輸入任何命令出現(xiàn)如下錯誤時就可以使用api來操作:

Error: something went wrong, please see the ollama server logs for details

這個錯誤主要是網絡問題導致的踢械,尤其是代理環(huán)境變量(終端FQ)

有兩種解決辦法:
方法一:

# 檢查http_proxy變量是否存在
echo $http_proxy

# 檢查https_proxy變量是否存在
echo $https_proxy

如果輸出內容了酗电,說明設置了代理,請移除

# 移除HTTP代理環(huán)境變量
unset http_proxy

# 移除HTTPS代理環(huán)境變量
unset https_proxy
# 再檢查http_proxy變量是否存在
echo $http_proxy

# 再檢查https_proxy變量是否存在
echo $https_proxy

輸出為空裸燎,再試試ollama命令應該就可以了。
如果你希望永久移除這些代理環(huán)境變量泼疑,可以編輯你的終端配置文件德绿,例如編輯你的.zshrc文件(這是zsh的配置文件),并刪除或注釋掉其中設置代理變量的行退渗。

例如編輯zshrc文件:

// 注釋掉類似下面的內容
export http_proxy="http://your-proxy-server:port"
export https_proxy="http://your-proxy-server:port"

// 保存文件后再執(zhí)行
source ~/.zshrc

然后穩(wěn)妥起見再重啟下終端移稳,再試試ollama命令應該就可以了。

方法二:如果不想修改自己的代理環(huán)境變量会油,可以直接通過API操作命令代替ollama命令
舉例來說:

// 終端直接運行下面命令來pull模型
curl http://你的電腦ip地址:11434/api/pull -d '{"model": "deepseek-r1:1.5b"}'

// 獲取正在運行的模型
curl http://你的電腦ip地址:11434/api/ps

詳細API請見上方表格

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末个粱,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子翻翩,更是在濱河造成了極大的恐慌都许,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,252評論 6 516
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件嫂冻,死亡現(xiàn)場離奇詭異胶征,居然都是意外死亡,警方通過查閱死者的電腦和手機桨仿,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,886評論 3 399
  • 文/潘曉璐 我一進店門睛低,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人服傍,你說我怎么就攤上這事钱雷。” “怎么了吹零?”我有些...
    開封第一講書人閱讀 168,814評論 0 361
  • 文/不壞的土叔 我叫張陵罩抗,是天一觀的道長。 經常有香客問我灿椅,道長澄暮,這世上最難降的妖魔是什么名段? 我笑而不...
    開封第一講書人閱讀 59,869評論 1 299
  • 正文 為了忘掉前任,我火速辦了婚禮泣懊,結果婚禮上伸辟,老公的妹妹穿的比我還像新娘。我一直安慰自己馍刮,他們只是感情好信夫,可當我...
    茶點故事閱讀 68,888評論 6 398
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著卡啰,像睡著了一般静稻。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上匈辱,一...
    開封第一講書人閱讀 52,475評論 1 312
  • 那天振湾,我揣著相機與錄音,去河邊找鬼亡脸。 笑死押搪,一個胖子當著我的面吹牛,可吹牛的內容都是我干的浅碾。 我是一名探鬼主播大州,決...
    沈念sama閱讀 41,010評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼垂谢!你這毒婦竟也來了厦画?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 39,924評論 0 277
  • 序言:老撾萬榮一對情侶失蹤滥朱,失蹤者是張志新(化名)和其女友劉穎根暑,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體徙邻,經...
    沈念sama閱讀 46,469評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡购裙,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 38,552評論 3 342
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了鹃栽。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片躏率。...
    茶點故事閱讀 40,680評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖民鼓,靈堂內的尸體忽然破棺而出薇芝,到底是詐尸還是另有隱情,我是刑警寧澤丰嘉,帶...
    沈念sama閱讀 36,362評論 5 351
  • 正文 年R本政府宣布夯到,位于F島的核電站,受9級特大地震影響饮亏,放射性物質發(fā)生泄漏耍贾。R本人自食惡果不足惜阅爽,卻給世界環(huán)境...
    茶點故事閱讀 42,037評論 3 335
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望荐开。 院中可真熱鬧付翁,春花似錦、人聲如沸晃听。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,519評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽能扒。三九已至佣渴,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間初斑,已是汗流浹背辛润。 一陣腳步聲響...
    開封第一講書人閱讀 33,621評論 1 274
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留见秤,地道東北人砂竖。 一個月前我還...
    沈念sama閱讀 49,099評論 3 378
  • 正文 我出身青樓,卻偏偏與公主長得像秦叛,于是被迫代替她去往敵國和親晦溪。 傳聞我的和親對象是個殘疾皇子瀑粥,可洞房花燭夜當晚...
    茶點故事閱讀 45,691評論 2 361

推薦閱讀更多精彩內容