1. 詳細(xì)步驟 1.1 安裝 1.2 啟動(dòng) 1.2.1 直接啟動(dòng) 簡(jiǎn)潔命令 多參數(shù)命令 設(shè)置模型緩存路徑和模型來源（Hugging Face/M...

1. 詳細(xì)步驟 1.1 安裝 cuda 等 nvidia 依賴（非CUDA環(huán)境運(yùn)行可跳過） 1.2 安裝 llama.cpp (C/C++環(huán)境)...

1. 詳細(xì)步驟 1.1 拉取源碼 1.2 模型轉(zhuǎn)換/量化 1.2.1 安裝所需 Python 依賴 torch 其他依賴 1.2.1 模型轉(zhuǎn)換/...

Open WebUI (Formerly Ollama WebUI) 也可以通過 docker 來安裝使用 1. 詳細(xì)步驟 1.1 安裝 Ope...

1. 詳細(xì)步驟 以qwen2.5:0.5b-instruct-fp16為例 1.1 遷移 manifests 文件 1.2 遷移 blobs 文...

1. 操作步驟 1.1 安裝 1.2 驗(yàn)證（可跳過） 1.3 啟動(dòng)服務(wù)端 1.4 跑通第一個(gè)模型 2. 參考資料 2.1 Ollama GitH...

目前通過 runfile(local) 方式安裝砰粹，最終 nvcc -V 看到的版本有偏差（安裝12.4宋下，顯示12.0），但不影響使用 llama...

1. 詳細(xì)步驟 1.1 安裝 Tmux apt brew 1.2 終端新建/激活 Tmux 1.2.1 新開一個(gè)窗口 1.2.2 激活指定窗口 ...

1. 實(shí)用命令 1.1 系統(tǒng)相關(guān) 1.1.1 查看系統(tǒng)术吝、用戶信息等 查看當(dāng)前系統(tǒng)硬件架構(gòu) 注：mac 上也能用 查看當(dāng)前系統(tǒng)的操作系統(tǒng)及版本 查...