在 GitHub 上返敬,我們發(fā)現(xiàn)了一個(gè)令人興奮的 Python 項(xiàng)目,它實(shí)現(xiàn)了類似于 Perplexity 等 AI 搜索引擎的搜索-提取-總結(jié)流程暇榴。這個(gè)項(xiàng)目非常簡單且實(shí)用蟀淮,它是一個(gè)開源的對(duì)話式 AI 搜索引擎蚪腐,用大約 250 行 Python 代碼就構(gòu)建了一個(gè)功能完備的搜索工具宝踪,能夠理解和生成自然語言侨糟,提供準(zhǔn)確的搜索結(jié)果。
??代碼在這里:https://github.com/pengfeng/ask.py
基本上給定一個(gè)查詢瘩燥,程序?qū)?huì)
* 搜索谷歌排名前10的網(wǎng)頁
* 爬行并篩選頁面中的文本內(nèi)容
* 將文本內(nèi)容分塊并保存到矢量數(shù)據(jù)庫中
* 對(duì)查詢執(zhí)行向量搜索秕重,并找到匹配度最高的10個(gè)塊
?* 使用前10個(gè)塊作為上下文,請(qǐng)求一個(gè)LLM生成答案
* 輸出答案并附上參考文獻(xiàn)
當(dāng)然厉膀,這個(gè)流程是真正的 AI 搜索引擎的一個(gè)非常簡化的版本溶耘,但它是理解基本概念的良好起點(diǎn)套鹅。?這個(gè)項(xiàng)目不僅適合開發(fā)者和技術(shù)人員,也適合任何對(duì)AI搜索技術(shù)感興趣的人汰具。你可以自由地使用、修改和分發(fā)這些代碼菱魔。如果你對(duì)AI搜索技術(shù)充滿好奇留荔,或者正在尋找一個(gè)高效的搜索解決方案,它絕對(duì)是一個(gè)值得探索的項(xiàng)目澜倦。