最近剛從太初元碁舉辦的「Teco-RAG 大模型開(kāi)發(fā)任務(wù)挑戰(zhàn)賽」出來(lái)，很遺憾沒(méi)有獲獎(jiǎng)。上圖是前 5 名的初賽成績(jī)锭硼，下圖是前 30 名的初賽成績(jī)，我排 28 名蜕劝，60.6 分檀头，優(yōu)秀獎(jiǎng)的獲獎(jiǎng)線是 64.4 分，可以看出前 3 名的分?jǐn)?shù)是有斷層的岖沛，分?jǐn)?shù)集中在 60-69 的區(qū)間內(nèi)：
這個(gè)比賽還是很有實(shí)踐意義的暑始，因?yàn)樗年P(guān)鍵點(diǎn)在于使用的是去年發(fā)布的 Qwen-7B-Chat，沒(méi)錯(cuò)婴削，不是 Qwen廊镜，也不是 Qwen2.5，而是去年發(fā)布的 Qwen唉俗！這個(gè)比賽的目的是為了探索通過(guò)工程化的方案使用低成本的開(kāi)源模型開(kāi)發(fā) RAG嗤朴，它的基座模型的能力相對(duì)于現(xiàn)在最新的模型差距較大，需要用工程化方案進(jìn)行約束虫溜。
而我做出的優(yōu)化只有兩點(diǎn)：
- 修改 text_splitter 默認(rèn)參數(shù)：chunk_size=640雹姊，chunk_overlap=64，small_chunk_size=192衡楞；
- 增加 BM25 檢索召回吱雏，使用 jieba 的搜索引擎模式進(jìn)行分詞；
這兩個(gè)優(yōu)化從最開(kāi)始的 40 分提高到了 60 分瘾境，不過(guò)當(dāng)時(shí)由于對(duì)混合多路檢索理解還不夠歧杏，在后續(xù)的學(xué)習(xí)中，我發(fā)現(xiàn)稀疏檢索 BM25 的檢索數(shù)量（即 top_k）應(yīng)該設(shè)置更大一些寄雀，與稠密檢索（Embedding 向量檢索）之間的比例應(yīng)該是 3: 1，我當(dāng)時(shí)在 BM25 設(shè)置的 top_k 是 5 條陨献，在驗(yàn)證很多答案的時(shí)候盒犹，發(fā)現(xiàn)沒(méi)有召回正確的文檔片段。
由于 RAG 是明年我的重點(diǎn)工作方向之一，所以我需要重新思考急膀。今年轉(zhuǎn)入大模型應(yīng)用開(kāi)發(fā)沮协，主要是 Agent、RAG 和 Fine-tuning 三個(gè)大方向卓嫂，現(xiàn)在對(duì) RAG 的理解還不夠深刻慷暂，因此準(zhǔn)備從零構(gòu)建一個(gè)完整的 RAG 框架，也就是 Build RAG from scratch step by step晨雳。
標(biāo)準(zhǔn)的 RAG 流程還是比較簡(jiǎn)單的：
之前粗略地看過(guò)一篇《四萬(wàn)字長(zhǎng)文巨獻(xiàn)行瑞，一文讀透RAG》的文章，當(dāng)然細(xì)節(jié)太多了餐禁，也沒(méi)有看完血久。RAG 應(yīng)用有一句話：「一周出 demo，半年用不好」帮非，整個(gè)流程實(shí)際上有很多可以優(yōu)化的地方：
這里面我在學(xué)習(xí)的時(shí)候氧吐，忽略了一個(gè)很關(guān)鍵的環(huán)節(jié)，評(píng)估（Evaluation）：不能在提交方案的時(shí)候才進(jìn)行評(píng)估末盔，事實(shí)上在每個(gè)新增功能和優(yōu)化策略的時(shí)候筑舅，都應(yīng)該進(jìn)行評(píng)估！在 RAG 開(kāi)發(fā)的過(guò)程中陨舱，需要經(jīng)常跑測(cè)試翠拣，得到類似如下圖片：
根據(jù) Anthropic 的 Introducing Contextual Retrieval 這篇文章，實(shí)際上很多優(yōu)化策略是無(wú)效的隅忿，如果沒(méi)有一個(gè)合理的評(píng)測(cè)流程心剥，會(huì)陷入大量的無(wú)用功。
這里我找到了 Ragas背桐， 一個(gè)專門針對(duì)于 LLM 應(yīng)用效果評(píng)估的庫(kù)优烧，根據(jù)文檔 Testset Generation for RAG 和論文 Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena，以及「Teco-RAG 大模型開(kāi)發(fā)任務(wù)挑戰(zhàn)賽」的參賽經(jīng)歷链峭，我決定接下來(lái)的評(píng)估策略如下：
使用最新的大模型（比如 GPT-4o畦娄、Gemini-2.0-Flash、GLM-4-Plus 等）針對(duì)不同的文檔（金融弊仪、計(jì)算機(jī)等）生成評(píng)估測(cè)試集熙卡，使用較早版本的大模型（比如 Qwen-7B-Chat、Llama-2-7B-Chat励饵、GLM-4-Air 等）進(jìn)行 RAG 策略調(diào)試驳癌。
以上是我目前對(duì) RAG 框架的思考，我正在基于 RapidAI 的 Knowledge-QA-LLM 項(xiàng)目進(jìn)行開(kāi)發(fā)役听，歡迎加入 ROADMAP 討論：https://github.com/RapidAI/Knowledge-QA-LLM/pull/24颓鲜。
