DeepSeek的本地部署總算完成了惨撇，我采用的是14B參數(shù)模型况毅，大小為9G导犹，在自己的筆記本上（4060 8G/32G內(nèi)存）上跑代碼和一般推理，以及簡單的文章生成和潤色桨仿，都沒有什么大問題（主要是最近的網(wǎng)絡(luò)測的“服務(wù)器忙”太頻繁了＞Φ汀）
最近一直在嘗試下一個部署方案，就是本地知識庫的建設(shè)服傍，看看自己一大堆的計算機和算法的電子書钱雷，以及平時搜集的文章資料，希望有個地方能利用DeepSeek和好的向量化工具（數(shù)據(jù)庫）來實現(xiàn)吹零，但是目前看效果不是很理想罩抗。
已經(jīng)嘗試的方法有：
第一種：anythingLLM + ollama+ DeepSeek R1 (本地化14B)+nomic-embed-text（嵌入式處理模型）
第二種：cherry studio+ollama + DeepSeek R1(本地化14B）+BAAI/bge-large-en-v1.5（嵌入式處理模型）
初步結(jié)論：
1. 從功能和界面使用上看，個人更喜歡cherry studio一些灿椅，因為更簡潔套蒂，功能更豐富一些钞支。
2. 從最終的使用效果上看，兩個方案都不盡如人意操刀，雖然推理大模型都是使用的本地DeepSeek R1(14B）烁挟，但是關(guān)鍵在于投喂了本地文檔之后，如txt骨坑，pdf文件后撼嗓，向量化處理的過程不是很理想，就是在切分的時候欢唾，邏輯性還是差了一些静稻，過于分散和凌亂，缺乏邏輯性匈辱。也給后面的推理大模型的分析奠定了不好的基礎(chǔ)振湾。
后續(xù)的計劃：
多嘗試一些（嵌入式）向量化處理的大模型，以及在投喂資料時亡脸，注意的文件格式要求押搪，比如采用問答式的資料就更容易處理一些。
什么是RAG浅碾？
補充一下RAG的相關(guān)知識背景大州。
一、什么是RAG垂谢？
RAG （Retrieval-Augmented Generation）檢索增強生成厦画，是一種通過整合外部知識庫來增強大模型（LLM）的性能的模式。最簡單的理解滥朱，可以認為是給大模型外掛了一個知識庫根暑。
二、為什么要使用RAG徙邻？
很多大模型的問題排嫌，多數(shù)是由于數(shù)據(jù)缺失造成的，企業(yè)中解決這類數(shù)據(jù)確實的問題缰犁，通常的方案是采取企業(yè)向量知識庫的方式淳地，在應(yīng)用Prompt的時候，先從企業(yè)知識庫中檢索與Prompt關(guān)聯(lián)的知識帅容，然后把領(lǐng)域知識和原始Prompt整合在一起颇象，最后作為大模型的輸入。
這樣大模型就了解了領(lǐng)域?qū)I(yè)知識并徘，也能更好的回答問題遣钳。
三、RAG怎么使用饮亏？
一個典型的RAG框架耍贾，主要包含兩個階段：知識庫的構(gòu)建階段阅爽，知識庫的應(yīng)用階段
3.1 知識庫的構(gòu)建階段
3.1 知識庫的應(yīng)用階段
四、RAG的優(yōu)勢
在企業(yè)環(huán)境中荐开，對于大模型的準確性付翁、數(shù)據(jù)隱私安全以及信息更新速度有著極高的要求。而RAG（檢索增強生成）框架恰恰能夠很好地滿足這些需求晃听。
1百侧、準確性方面，RAG通過結(jié)合傳統(tǒng)基于檢索的方法與先進的生成式AI技術(shù)能扒，不僅能夠利用外部知識庫來豐富回答的內(nèi)容佣渴，還能確保所生成的信息更加精準可靠。這種機制有效地減少了生成錯誤或誤導(dǎo)性答案的可能性初斑，從而為企業(yè)決策提供了強有力的支持辛润。
2、安全性方面见秤，RAG允許企業(yè)在本地部署自己的私有知識庫砂竖，并且只允許模型訪問該特定的數(shù)據(jù)集進行學(xué)習(xí)和查詢，這樣既能保證敏感信息不外泄鹃答，又能讓模型根據(jù)最新的內(nèi)部資料做出最恰當?shù)幕卮鸷醭巍＿@種方式極大地增強了用戶對系統(tǒng)安全性的信心。
3测摔、時效性方面置济，由于RAG架構(gòu)支持動態(tài)更新知識庫內(nèi)容，因此它可以根據(jù)企業(yè)的實際需要快速調(diào)整并反映最新情況锋八，這為智能客服等應(yīng)用場景帶來了極大的靈活性浙于。例如，在客戶服務(wù)領(lǐng)域查库，RAG可以幫助即時解決客戶疑問路媚，提供個性化建議，極大提升了用戶體驗和服務(wù)效率樊销。
