一夜之間眉抬，中國AI大模型DeepSeek-R1橫掃硅谷，迅速引爆全球科技圈懈凹，英偉達(dá)AI科學(xué)家Jim Fan發(fā)文感嘆：“一家非美國公司蜀变，正在讓OpenAI的初衷支持——真正開放、為所有權(quán)賦”能的前沿研究”蘸劈。是的昏苏，DeepSeek-R1不僅性能媲美OpenAI O1，更做到了完全開源威沫。
DeepSeek-R1模型的發(fā)布贤惯，讓我們可以更好的使用開源大語言模型運(yùn)行推理任務(wù)。現(xiàn)在棒掠，R1模型可以通過DeepSeek API獲得孵构，那么我們可以將其集成到我們的工作流程中。更好的消息是烟很，Ollama 在他們的庫中添加了幾個版本的 R1 模型颈墅，現(xiàn)在我們可以在本地使用 Ollama 運(yùn)行 R1 模型。?
現(xiàn)在你將可以實(shí)現(xiàn)一個命令建立你的本地知識庫??全程3分鐘??覆蓋2GB內(nèi)存??消耗GPU運(yùn)行??安裝即用??快速使用??
下面我們將使用具有「RAG功能的完整文檔管道」的AI搜索引擎開發(fā)框架LeetTools雾袱，在本地運(yùn)行Ollama的R1模型恤筛。由于我們使用DuckDB作為云端，整個流程可以輕松地安裝在一臺設(shè)備上16GB RAM且沒有專用GPU的筆記本電腦中芹橡。
演示
??安裝 Ollama
1.按照以下說明操作https://github.com/ollama/ollama?安裝ollama程序毒坛。
# if the ollama program is not running, start it with the following command
ollamaserve
2. 加載ollama模型：
% ollama pull deepseek-r1:1.5b
% ollama pull nomic-embed-text
?? 安裝 LeetTools
% conda create -y -n leettools python=3.11
% conda activate leettools
% pip install leettools
# where we store all the data and logs
%exportLEET_HOME=${HOME}/leettools
% mkdir -p ${LEET_HOME}
% cat > .env.ollama <<EOF
# need tot change LEET_HOME to the correct path
LEET_HOME=</Users/myhome/leettools>
EDS_DEFAULT_LLM_BASE_URL=http://localhost:11434/v1
EDS_LLM_API_KEY=dummy-key
EDS_DEFAULT_INFERENCE_MODEL=deepseek-r1:1.5b
EDS_DEFAULT_EMBEDDING_MODEL=nomic-embed-text
EDS_EMBEDDING_MODEL_DIMENSION=768
EOF
?? 使用一個命令創(chuàng)建您的本地知識庫
通過一個命令行，我們可以使用URL中的PDF文件構(gòu)建知識庫林说。如果需要煎殷，您還可以添加更多URL。
# this is a great LLM introduction book with 231 pages
leetkb add-url -e .env.ollama -k llmbook -linfo\?
?? -r https://arxiv.org/pdf/2501.09223
??使用R1查詢您的本地知識庫
以下將使用LLM構(gòu)建指南中的內(nèi)容腿箩，使用R1模型回答問題豪直。
leetflow -t answer -e .env.ollama -k llmbook -p retriever_type=local -linfo\-poutput_language=cn
?-q"How does the FineTune process Work?"
???資源使用情況
這個過程最大的地方就是，整個管道只使用了大約2GB的內(nèi)存珠移，不需要特殊的GPU來運(yùn)行：
1.帶有RAG服務(wù)的LeetTools文檔管道使用了大約350MB的內(nèi)存
2.R1型號使用大約1.6GB的內(nèi)存弓乙，嵌入式型號使用大約370MB的內(nèi)存
% ollama ps?
NAME? ? ? ? ? ? ? ? ? ? ? ID? ? ? ? ? ? ? SIZE? ? ? PROCESSOR? ? UNTIL? ? ? ? ? ? ??
deepseek-r1:1.5b? ? ? ? ? a42b25d8c10a? ? 1.6 GB? ? 100% CPU? ? 4 minutes from now??
nomic-embed-text:latest? ? 0a109f422b47? ? 370 MB? ? 100% CPU? ? 4 minutes from now
