介紹
Ollama：一款可以讓你在本地快速搭建大模型的工具
官網(wǎng)：https://ollama.com/
github：https://github.com/ollama/ollama
Gemma：谷歌開源的大模型
open-webui：非常不錯的大模型webui
github：https://github.com/open-webui/open-webui
開始搭建
第一步選擇系統(tǒng)版本：
因為大模型需要的GPU來運算税灌，當(dāng)然其實CPU也可以均函，但我們今天講的是要用GPU來跑的，所以我們在購買服務(wù)器的時候菱涤，一定要選擇GPU服務(wù)器苞也，然后看看服務(wù)器的系統(tǒng)版本對GPU顯卡支持的更好。
第二步部署Ollama：
部署ollama非常簡單直接輸入：
curl -fsSL https://ollama.com/install.sh | sh
等待安裝完成后粘秆，就如下圖：
你還可以輸入：ollama 看看一些基本操作
因為我們需要開放API如迟，ollama的開放端口是11434，我們在服務(wù)器商那邊打開11434端口翻擒，然后直接ip:11434進行訪問氓涣。
這時候我就發(fā)現(xiàn)了ollama的一個坑，我們在成功啟動ollama的時候就已經(jīng)直接占用了11434端口陋气，但是我們直接訪問發(fā)現(xiàn)是無法訪問的，通過防火墻各種排查發(fā)現(xiàn)是ollama的配置文件里面出現(xiàn)了問題引润，解決方法如下：
直接輸入：
sudo vi /etc/systemd/system/ollama.service
按i進入插入模式巩趁，在ExecStart=/usr/local/bin/ollama serve上面插入：Environment=”O(jiān)LLAMA_HOST=0.0.0.0:11434″
按ESC再輸入:wq回車保存
我們直接重啟服務(wù)器，重啟后輸入：ollama
然后在打開ip:11434就可以直接訪問了
[圖片上傳失敗...(image-c25007-1713937797909)]
這樣就是成功了
第三步部署：Gemma
gemma是靠ollama來部署的淳附，所以我們直接輸入：
ollama run gemma
耐心等待部署完成议慰，如下圖：
完成后我們可以直接進行提問，這就好啦奴曙！
第四步部署：open-webui
因為open-webui是在Docker里面部署的别凹，所以我們需要先部署Docker，因為我是用的阿里云的Alibaba Cloud Linux 3系統(tǒng)洽糟，所以我直接是按照阿里云的官方教程來的炉菲，建議你們也是按照自己的系統(tǒng)去安裝Docker堕战，我就不過多的說了。
安裝open-webui直接輸入：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
如果你直接輸入的話你就入坑了拍霜，如果你的服務(wù)器是國內(nèi)的話嘱丢，直接下載ghcr.io的鏡像簡直就是折磨，下一天都不一定下的完祠饺，所以我們需要改一下越驻，把ghcr.io改成ghcr.nju.edu.cn再輸入：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main
這樣就嘎嘎的快，像上面這樣就成功了
我們再輸入：
sudo docker images
查看一下當(dāng)前的容器道偷，然后再輸入我們要啟動的容器：
docker run -d ghcr.nju.edu.cn/open-webui/open-webui
如下圖：
我們再把open-webui的端口3000去打開一下缀旁，直接訪問IP:3000就可以啦
注冊一個賬號進去
在設(shè)置里面看看ollama連接狀態(tài)是成功的就好了，直接用起來吧勺鸦！
