TechDay
本文由阿里云技術(shù)專家魏子珺在【AI搜索TechDay】上的分享【阿里云Elasticsearch AI搜索實(shí)踐】整理而成。
【AI搜索TechDay】是Elastic和阿里云聯(lián)合主辦的AI技術(shù)Meetup系列送矩，聚焦企業(yè)級(jí)AI搜索應(yīng)用和開發(fā)者動(dòng)手實(shí)踐，旨在幫助開發(fā)者在大模型浪潮下升級(jí)AI搜索吮廉，助力業(yè)務(wù)增長。
阿里云Elasticsearch的AI搜索實(shí)踐與探索
近年來，Elasticsearch（簡稱ES）在AI領(lǐng)域的發(fā)展非常快休涤。作為一名深耕ES領(lǐng)域近十年的研究者，我見證了ES的飛速發(fā)展笛辟，但像現(xiàn)在AI相關(guān)特性上如此快速的迭代功氨，還是非常驚訝的，并意識(shí)到持續(xù)跟進(jìn)AI技術(shù)的重要性手幢，特別是在阿里云ES上捷凄，我們要去做些什么，能夠讓ES的用戶能夠更好的去使用上這些AI功能围来。
本次分享聚焦于阿里云ES平臺(tái)上的AI搜索實(shí)踐與探索跺涤。經(jīng)過團(tuán)隊(duì)研究，我們已在多個(gè)方向取得實(shí)質(zhì)性進(jìn)展监透。我先簡要概述ES在AI領(lǐng)域的核心特性桶错，提供一個(gè)概覽性的理解。
ES在AI場(chǎng)景核心技術(shù)之一是引入了先進(jìn)的語義理解能力胀蛮，特別是通過embedding向量技術(shù)革新搜索引擎院刁。具體而言，我們將文本轉(zhuǎn)換為高維向量粪狼，這超越了傳統(tǒng)分詞和同義詞匹配的局限黎比，實(shí)現(xiàn)了對(duì)詞語語境和含義的深度捕捉超营。例如，對(duì)于“狗”這個(gè)詞阅虫，不僅能識(shí)別出直接相關(guān)的查詢演闭，還能延伸至“哈士奇”、“泰迪”等具體品種颓帝，極大地豐富了搜索的相關(guān)性和精準(zhǔn)度米碰。
實(shí)現(xiàn)這一突破的關(guān)鍵在于采用了HNSW算法進(jìn)行近似最近鄰搜索。該算法采用分層結(jié)構(gòu)進(jìn)行高效檢索购城，通過逐步細(xì)化搜索空間來逼近最相似結(jié)果吕座，有效減少了全量數(shù)據(jù)掃描的需求，提升了查詢效率瘪板。然而吴趴，HNSW要求較高的內(nèi)存資源以支持其全內(nèi)存操作，這對(duì)系統(tǒng)資源管理提出了挑戰(zhàn)侮攀，同時(shí)也強(qiáng)調(diào)了參數(shù)調(diào)優(yōu)的重要性锣枝，以在保證效率的同時(shí)最大化搜索的準(zhǔn)確性和召回率。
Elasticsearch向量引擎的性能提升與迭代更新
聚焦于Elasticsearch向量引擎的持續(xù)優(yōu)化進(jìn)程兰英，特別是針對(duì)性能與成本的改進(jìn)撇叁，顯得尤為關(guān)鍵。初期畦贸，由于普遍存在的認(rèn)知偏差——認(rèn)為ES向量引擎雖功能強(qiáng)大但在性能上可能存在短板陨闹，尤其是對(duì)于Java生態(tài)系統(tǒng)中的應(yīng)用——這一觀點(diǎn)正逐漸被其技術(shù)演進(jìn)所顛覆。實(shí)際上薄坏，自8.0初始版本至當(dāng)前已經(jīng)邁入的8.15版本的歷程中趋厉，ES不斷迭代，特別是在性能優(yōu)化方面取得了顯著進(jìn)展胶坠，其中包括但不限于對(duì)硬件加速技術(shù)的有效整合君账。
特別地，ES利用硬件加速技術(shù)在向量檢索領(lǐng)域涵但，尤其是處理復(fù)雜相似度計(jì)算任務(wù)時(shí)，實(shí)現(xiàn)了顯著的性能飛躍帖蔓。這種技術(shù)創(chuàng)新不僅限于理論層面矮瘟，實(shí)踐證明，通過硬件加速器的深度融合塑娇，部分計(jì)算密集型操作的效率提升了數(shù)倍乃至更多澈侠。例如，從2022年9月至今的基準(zhǔn)測(cè)試數(shù)據(jù)可直觀看出埋酬，查詢響應(yīng)時(shí)間從最初100ms大幅縮減至現(xiàn)在20ms左右哨啃，彰顯了ES向量檢索迭代升級(jí)帶來的巨大性能提升烧栋。
此外，ES在內(nèi)存優(yōu)化同樣值得關(guān)注拳球，通過向量量化技術(shù)审姓，所需內(nèi)存僅為原先需求的四分之一，極大提升了資源利用率祝峻。同時(shí)魔吐，針對(duì)高并發(fā)查詢場(chǎng)景進(jìn)行的優(yōu)化，確保了在處理大規(guī)睦痴遥客戶信息查詢等任務(wù)時(shí)酬姆，系統(tǒng)的穩(wěn)定性和響應(yīng)速度得以保持，進(jìn)一步驗(yàn)證了ES在向量處理應(yīng)用中的高性能奥溺。
提升Elasticsearch性能與功能：稀疏向量與模型應(yīng)用
在探討 Elasticsearch 的應(yīng)用時(shí)辞色，特別是關(guān)注其在處理文本數(shù)據(jù)、性能優(yōu)化及混合搜索策略方面的高級(jí)功能浮定，核心要點(diǎn)可精煉如下：
- 語義擴(kuò)展與稀疏向量表示：Elasticsearch利用諸如稀疏編碼技術(shù)相满，不僅能夠基于原始詞匯建立索引，還能有效擴(kuò)展至與其相關(guān)的概念或詞匯壶唤，每項(xiàng)擴(kuò)展均附有模型計(jì)算出的權(quán)重雳灵，增強(qiáng)了語義理解的深度和廣度。這得益于稀疏向量技術(shù)闸盔，它以較低內(nèi)存占用高效存儲(chǔ)信息悯辙，對(duì)比稠密向量需全內(nèi)存索引，顯著提升了資源效率迎吵。
- 查詢效率與資源優(yōu)化：查詢過程受益于倒排索引結(jié)構(gòu)躲撰，避免了向量相似度匹配的開銷，加速了檢索速度击费。此外拢蛋，Elasticsearch的稀疏向量減少了內(nèi)存需求，進(jìn)一步優(yōu)化了資源利用蔫巩。
- 混合搜索策略：現(xiàn)代搜索需求促使Elasticsearch支持多模態(tài)查詢谆棱，結(jié)合文本、向量檢索以及rrf混合排序方法圆仔，以增強(qiáng)結(jié)果的相關(guān)性和覆蓋范圍垃瞧。這種混合搜索策略能夠召回更多樣化的數(shù)據(jù)，提升用戶體驗(yàn)坪郭。
- 排名與相關(guān)性調(diào)整：為了從召回的大量數(shù)據(jù)中精確選出最相關(guān)的結(jié)果个从，ES采用如BM25等排序機(jī)制，考慮文檔頻率和位置等因素初步確定權(quán)重。隨后嗦锐，通過集成學(xué)習(xí)或更精細(xì)的模型（如rerank階段）對(duì)初步篩選出的文檔進(jìn)行二次排序嫌松，確保頂部結(jié)果高度相關(guān)。
- 模型集成與原生支持：Elasticsearch展現(xiàn)了強(qiáng)大的模型集成能力奕污，允許用戶直接將自定義模型加載至集群中運(yùn)行萎羔，實(shí)現(xiàn)從輸入到輸出（如詞嵌入生成）的端到端處理，無需外部預(yù)處理步驟菊值。這不僅簡化了工作流程外驱，還促進(jìn)了機(jī)器學(xué)習(xí)模型與搜索引擎的無縫融合，強(qiáng)化了系統(tǒng)的智能化水平和適應(yīng)性腻窒。
用云服務(wù)提升模型的使用效率和靈活性
Elasticsearch中的Inference API及其在阿里云環(huán)境下的應(yīng)用昵宇，這是一個(gè)相對(duì)較新的功能，自8.11版本引入儿子，旨在簡化和優(yōu)化機(jī)器學(xué)習(xí)模型在ES上的部署與使用流程瓦哎。該API的核心價(jià)值在于，它允許用戶無需經(jīng)歷繁瑣的模型下載柔逼、安裝及資源調(diào)配等步驟蒋譬，即可直接在ES中利用預(yù)訓(xùn)練模型進(jìn)行高級(jí)查詢和數(shù)據(jù)分析，特別是針對(duì)諸如文本向量化這樣的任務(wù)愉适。
具體而言犯助，Inference API通過整合第三方模型服務(wù)，如來自O(shè)penAI维咸、Hugging Face等知名平臺(tái)的模型剂买，以及阿里云自家的AI搜索模型，為用戶提供了一個(gè)統(tǒng)一且便捷的接口癌蓖。這意味著瞬哼，用戶僅需通過簡單的API調(diào)用，就能在ES環(huán)境中啟用這些模型租副，無論模型是本地部署還是遠(yuǎn)程托管坐慰，極大地降低了技術(shù)門檻和運(yùn)維成本。用戶在操作時(shí)用僧，體驗(yàn)幾乎無差異结胀，無論是創(chuàng)建、查詢還是執(zhí)行嵌入操作责循，所有過程均圍繞模型ID進(jìn)行糟港，ES內(nèi)部會(huì)自動(dòng)處理文本到向量的轉(zhuǎn)換及后續(xù)的查詢優(yōu)化工作。
這一創(chuàng)新對(duì)于ES用戶沼死，尤其是那些涉及語義搜索或復(fù)雜文本分析場(chǎng)景的用戶來說着逐，意義重大崔赌。它不僅簡化了模型集成的流程意蛀，還內(nèi)置了文本預(yù)處理耸别、特征提取等功能，用戶僅需關(guān)注業(yè)務(wù)邏輯县钥，通過提供的模型ID秀姐，即可實(shí)現(xiàn)從原始文本查詢到模型預(yù)測(cè)結(jié)果的無縫對(duì)接，進(jìn)而進(jìn)行高效的向量搜索或其他相關(guān)檢索操作若贮。最終省有，這促進(jìn)了ES作為數(shù)據(jù)存儲(chǔ)與分析平臺(tái)的功能延展，使之更加適應(yīng)現(xiàn)代AI驅(qū)動(dòng)的應(yīng)用需求谴麦，提升了用戶體驗(yàn)和系統(tǒng)整體效能蠢沿。
基于阿里云AI的Elasticsearch引擎擴(kuò)展與服務(wù)
阿里云Elasticsearch AI搜索方案集成了人工智能模型的搜索引擎架構(gòu)，旨在優(yōu)化用戶的查詢體驗(yàn)與內(nèi)容處理能力匾效，核心在于將復(fù)雜的模型服務(wù)與 Elasticsearch 引擎緊密結(jié)合舷蟀，簡化了從數(shù)據(jù)攝入到信息檢索的全過程，具體如下：
- 用戶查詢接口：用戶通過提交查詢query啟動(dòng)流程面哼，這可能是自然語言文本或其他形式的輸入野宜。
- AI搜索開發(fā)工作臺(tái)：提供一個(gè)集成環(huán)境，允許用戶不僅提交查詢魔策，還能利用預(yù)設(shè)的場(chǎng)景模板進(jìn)行高級(jí)搜索配置匈子，如增強(qiáng)的語義搜索等，提升了易用性和靈活性闯袒。
- 模型服務(wù)集成：創(chuàng)新之處在于將多種模型服務(wù)直接嵌入ES內(nèi)部虎敦，用戶無需在本地部署模型。這些模型涵蓋了內(nèi)容解析搁吓、文檔處理等多種功能原茅，簡化了從前端到后端的模型應(yīng)用流程。
- 數(shù)據(jù)處理自動(dòng)化：用戶上傳文檔時(shí)堕仔，系統(tǒng)自動(dòng)解析（如PDF擂橘、HTML等格式），并運(yùn)用預(yù)訓(xùn)練的文本理解模型進(jìn)行內(nèi)容分析摩骨，實(shí)現(xiàn)結(jié)構(gòu)化信息提取及文本向量化通贞，這一過程無縫集成于ES的索引流程中。
- 查詢處理與混合檢索：查詢接收后恼五，通過自然語言處理技術(shù)理解用戶意圖昌罩，即使面對(duì)模糊或上下文不全的查詢也能有效識(shí)別。檢索過程中灾馒，結(jié)合傳統(tǒng)的關(guān)鍵詞匹配與基于向量的相似性檢索茎用，實(shí)現(xiàn)了混合檢索策略，提高了查詢結(jié)果的相關(guān)性。
- 結(jié)果展示與交互：檢索完畢轨功，數(shù)據(jù)經(jīng)由Elasticsearch處理后旭斥，可直接用于前端展示或進(jìn)一步的業(yè)務(wù)邏輯處理。
阿里云Elasticsearch在RAG場(chǎng)景的應(yīng)用
RAG核心要求包括：高度精確的產(chǎn)出古涧、即時(shí)答案生成垂券、控制高昂的訓(xùn)練推理成本，并解決數(shù)據(jù)安全問題羡滑。盡管網(wǎng)頁應(yīng)用在流程上相對(duì)直觀菇爪，但僅將引擎作為召回工具可能無法滿足性能預(yù)期。因此柒昏，深入內(nèi)容理解凳宙、精細(xì)排序機(jī)制、高效的文檔解析及切片技術(shù)职祷，都是提升RAG整體效果的關(guān)鍵環(huán)節(jié)近速。
我們已開發(fā)出一款數(shù)據(jù)解析與提取模型，能靈活應(yīng)對(duì)PDF等多種文檔格式堪旧，大幅減輕用戶處理復(fù)雜文件結(jié)構(gòu)（如圖文混排PDF）的負(fù)擔(dān)削葱。此模型可智能化地分割文檔并優(yōu)化入庫數(shù)據(jù)質(zhì)量。
此外淳梦，我們還設(shè)計(jì)了文本切片模型析砸，確保在處理長文本時(shí)保持語義完整性，避免信息割裂爆袍，通過合理切分提高處理效率首繁。
而向量化模型經(jīng)過我們團(tuán)隊(duì)的持續(xù)調(diào)優(yōu)，在相關(guān)評(píng)測(cè)中表現(xiàn)出色陨囊，用戶可通過API直接調(diào)用弦疮，簡化文本預(yù)處理流程。
查詢分析模塊則增強(qiáng)了對(duì)用戶查詢意圖的理解蜘醋，優(yōu)化查詢指令后胁塞，能更精準(zhǔn)地在引擎中檢索相關(guān)信息。
然后這是一個(gè)rerank的模型压语，經(jīng)過混合檢索之后啸罢，可以再去調(diào)用rerank模型，可以讓數(shù)據(jù)的排序的效果更好胎食∪挪牛可以看到經(jīng)過rerank模型的重排后，回答準(zhǔn)確率可以提高12.5%厕怜。
在AI搜索平臺(tái)上衩匣，我們不僅提供了測(cè)評(píng)與模型微調(diào)工具蕾总，還集成了經(jīng)微調(diào)的大模型，其在問題理解琅捏、生成內(nèi)容的準(zhǔn)確性上達(dá)到了95%的高水準(zhǔn)谤专。這一整套R(shí)AG體系，結(jié)合ES的原生功能午绳，旨在為各類產(chǎn)品提供強(qiáng)大的搜索與分析能力，最終實(shí)現(xiàn)高達(dá)95%的效果提升映之，顯著增強(qiáng)了用戶的搜索體驗(yàn)與成果質(zhì)量拦焚。
阿里云搜索開發(fā)工作臺(tái)<面向企業(yè)及開發(fā)者提供先進(jìn)的AI搜索開發(fā)平臺(tái)，內(nèi)置實(shí)踐打磨的多模態(tài)數(shù)據(jù)解析杠输、文檔切分赎败、文本向量、查詢分析蠢甲、大模型文本生成僵刮、效果測(cè)評(píng)等豐富的組件化服務(wù)以及開發(fā)模版，同時(shí)鹦牛，可選多種引擎能力搞糕，用戶可靈活調(diào)用，實(shí)現(xiàn)智能搜索曼追、檢索增強(qiáng)生成（RAG）窍仰、多模態(tài)搜索等搜索相關(guān)場(chǎng)景的搭建。
