ollama介紹:
Ollama 是一個開源的大型語言模型(LLM)平臺买优,旨在讓用戶能夠輕松地在本地運行泡挺、管理和與大型語言模型進行交互迫皱。它支持多種預訓練的大型語言模型(如 LLaMA2摊腋、Mistral、Gemma哈雏、DeepSeek 等)楞件,并提供了一個簡單高效的方式來加載和使用這些模型。
-
出現(xiàn)
Error: something went wrong, please see the ollama server logs for details
的問題原因 主要是網絡問題導致的裳瘪,尤其是設置了代理環(huán)境變量(終端FQ目的) - 關于DeepSeek本地部署指南(ollama的應用)可以看下我之前寫的文章:DeepSeek R1本地與線上滿血版部署:超詳細手把手指南
ollama 的API:
官方api操作手冊如下:https://github.com/ollama/ollama/blob/main/docs/api.md
下面是ollama官網所有API的命令供參考:
命令 | 描述 | 請求方法 | 請求URL | 請求體/參數(shù) | 響應示例 | 中文說明 |
---|---|---|---|---|---|---|
Generate a completion | 根據給定的提示生成文本響應土浸。 | POST | /api/generate |
{"model": "llama3.2", "prompt": "Why is the sky blue?"} |
{"model": "llama3.2", "response": "The sky is blue because...", "done": true} |
使用指定模型生成文本響應,支持流式響應彭羹。 |
Generate a chat completion | 生成聊天對話中的下一條消息栅迄。 | POST | /api/chat |
{"model": "llama3.2", "messages": [{"role": "user", "content": "Hello!"}]} |
{"message": {"role": "assistant", "content": "Hello! How are you today?"}} |
用于生成聊天機器人回復,支持對話歷史和流式響應皆怕。 |
Create a Model | 創(chuàng)建模型(從其他模型毅舆、safetensors目錄或GGUF文件)。 | POST | /api/create |
{"model": "mario", "from": "llama3.2", "system": "You are Mario"} |
{"status": "success"} |
創(chuàng)建新模型愈腾,支持從現(xiàn)有模型或文件創(chuàng)建憋活。 |
List Local Models | 列出本地可用的模型。 | GET | /api/tags |
無請求體 | {"models": [{"name": "llama3:latest", "size": 3825819519, ...}]} |
列出本地已有的模型及其相關信息虱黄。 |
Show Model Information | 顯示模型的詳細信息(包括參數(shù)悦即、模板等)。 | POST | /api/show |
{"model": "llama3.2"} |
{"modelfile": "...", "parameters": "...", "template": "...", ...} |
獲取指定模型的詳細信息橱乱。 |
Copy a Model | 復制一個現(xiàn)有模型到新的名稱辜梳。 | POST | /api/copy |
{"source": "llama3.2", "destination": "llama3-backup"} |
返回200 OK | 將一個模型復制為另一個名稱。 |
Delete a Model | 刪除一個模型及其數(shù)據泳叠。 | DELETE | /api/delete |
{"model": "llama3:13b"} |
返回200 OK | 刪除指定模型作瞄。 |
Pull a Model | 從Ollama庫下載模型。 | POST | /api/pull |
{"model": "llama3.2"} |
{"status": "success"} |
下載模型到本地危纫,支持斷點續(xù)傳宗挥。 |
Push a Model | 將模型上傳到Ollama庫乌庶。 | POST | /api/push |
{"model": "mattw/pygmalion:latest"} |
{"status": "success"} |
將本地模型上傳到Ollama庫。 |
Generate Embeddings | 生成文本的嵌入向量契耿。 | POST | /api/embed |
{"model": "all-minilm", "input": "Why is the sky blue?"} |
{"embeddings": [[0.010071029, -0.0017594862, ...]]} |
使用指定模型生成文本的嵌入向量瞒大。 |
List Running Models | 列出當前加載到內存中的模型。 | GET | /api/ps |
無請求體 | {"models": [{"name": "mistral:latest", "size": 5137025024, ...}]} |
列出當前運行的模型及其相關信息搪桂。 |
Version | 獲取Ollama版本信息透敌。 | GET | /api/version |
無請求體 | {"version": "0.5.1"} |
獲取Ollama服務器的版本號。 |
如果你在使用ollama輸入任何命令出現(xiàn)如下錯誤時就可以使用api來操作:
Error: something went wrong, please see the ollama server logs for details
這個錯誤主要是網絡問題導致的踢械,尤其是代理環(huán)境變量(終端FQ)
有兩種解決辦法:
方法一:
# 檢查http_proxy變量是否存在
echo $http_proxy
# 檢查https_proxy變量是否存在
echo $https_proxy
如果輸出內容了酗电,說明設置了代理,請移除
# 移除HTTP代理環(huán)境變量
unset http_proxy
# 移除HTTPS代理環(huán)境變量
unset https_proxy
# 再檢查http_proxy變量是否存在
echo $http_proxy
# 再檢查https_proxy變量是否存在
echo $https_proxy
輸出為空裸燎,再試試ollama命令應該就可以了。
如果你希望永久移除這些代理環(huán)境變量泼疑,可以編輯你的終端配置文件德绿,例如編輯你的.zshrc文件(這是zsh的配置文件),并刪除或注釋掉其中設置代理變量的行退渗。
例如編輯zshrc文件:
// 注釋掉類似下面的內容
export http_proxy="http://your-proxy-server:port"
export https_proxy="http://your-proxy-server:port"
// 保存文件后再執(zhí)行
source ~/.zshrc
然后穩(wěn)妥起見再重啟下終端移稳,再試試ollama命令應該就可以了。
方法二:如果不想修改自己的代理環(huán)境變量会油,可以直接通過API操作命令代替ollama命令
舉例來說:
// 終端直接運行下面命令來pull模型
curl http://你的電腦ip地址:11434/api/pull -d '{"model": "deepseek-r1:1.5b"}'
// 獲取正在運行的模型
curl http://你的電腦ip地址:11434/api/ps
詳細API請見上方表格