什么是大語(yǔ)言模型?
大語(yǔ)言模型是一種人工智能模型,通常使用深度學(xué)習(xí)技術(shù)(如神經(jīng)網(wǎng)絡(luò))來(lái)理解和生成人類語(yǔ)言饭尝。這些模型擁有非常多的參數(shù),可以達(dá)到數(shù)十億甚至更多献宫,使得它們能夠處理高度復(fù)雜的語(yǔ)言模式钥平。
我們可以將大語(yǔ)言模型視為一個(gè)巨大的預(yù)測(cè)機(jī)器,其訓(xùn)練過(guò)程基于“猜詞”任務(wù):給定一段文本的開頭姊途,模型需要預(yù)測(cè)下一個(gè)詞是什么涉瘾。通過(guò)大量的訓(xùn)練數(shù)據(jù)(如互聯(lián)網(wǎng)上的文本),模型試圖理解詞語(yǔ)和詞組的用法和含義捷兰,以及它們?nèi)绾谓M合形成意義立叛。通過(guò)不斷學(xué)習(xí)和調(diào)整參數(shù),模型的預(yù)測(cè)能力變得越來(lái)越準(zhǔn)確贡茅。
發(fā)展歷程
LLM 生態(tài)
基座大模型
熱門開發(fā)框架/平臺(tái)
Langchain :是一個(gè)基于語(yǔ)言模型開發(fā)應(yīng)用程序的框架
https://github.com/langchain-ai/langchain
LlamaIndex:是一個(gè)旨在促進(jìn)私有或領(lǐng)域特定數(shù)據(jù)與大語(yǔ)言模型集成的數(shù)據(jù)框架秘蛇。
https://github.com/run-llama/llama_index
Dify:是一款開源的大語(yǔ)言模型(LLM) 應(yīng)用開發(fā)平臺(tái)。
https://github.com/langgenius/dify
AutoGen:提供了一個(gè)作為高級(jí)抽象的多智能體對(duì)話框架友扰。
https://github.com/microsoft/autogen
LangChain導(dǎo)言
**LangChain **是一個(gè)用于開發(fā)由大型語(yǔ)言模型(LLM)提供支持的應(yīng)用程序的框架彤叉。
LangChain 是一個(gè)開源框架,旨在幫助開發(fā)人員構(gòu)建端到端的應(yīng)用程序村怪,利用大型語(yǔ)言模型作為核心驅(qū)動(dòng)力。它提供了一系列工具浮庐、組件和接口甚负,簡(jiǎn)化了使用語(yǔ)言模型和聊天模型構(gòu)建支持應(yīng)用程序的過(guò)程柬焕。
LangChain 簡(jiǎn)化了 LLM 應(yīng)用程序生命周期的每個(gè)階段:
- 開發(fā):使用LangChain的開源構(gòu)建塊和組件構(gòu)建您的應(yīng)用程序。使用第三方集成和模板開始運(yùn)行梭域。
- 產(chǎn)品化:使用LangSmith檢查斑举、監(jiān)控和評(píng)估您的鏈,以便您可以放心地持續(xù)優(yōu)化和部署病涨。
- 部署:使用LangServe將任何鏈轉(zhuǎn)換為API富玷。
整體架構(gòu)圖
具體來(lái)說(shuō),該框架由以下開源庫(kù)組成:
- langchain-core:基礎(chǔ)抽象和LangChain表達(dá)式語(yǔ)言既穆。
-
langchain-community:第三方集成赎懦。
- 合作伙伴包(例如 langchain-openai、langchain-anthropic 等等):一些集成已進(jìn)一步拆分為它們自己的輕量級(jí)包幻工,這些包僅僅依賴于 langchain-core励两。
- langchain:構(gòu)成應(yīng)用程序認(rèn)知架構(gòu)的鏈、代理和檢索策略囊颅。
- langgraph:通過(guò)將步驟建模為圖中的邊和節(jié)點(diǎn)当悔,使用LLM構(gòu)建健壯且有狀態(tài)的多參與者應(yīng)用程序(agent)。
- langserver:將LangChain鏈部署為REST API踢代。
- LangSmith:一個(gè)開發(fā)人員平臺(tái)盲憎,可讓我們調(diào)試、測(cè)試胳挎、評(píng)估和監(jiān)控LLM應(yīng)用程序饼疙。
創(chuàng)始人
LangChain 是由 Harrison Chase 和 Ankush Gola 在 2023 年在美國(guó)加利福尼亞州創(chuàng)建的人工智能公司。Harrison Chase 擔(dān)任首席執(zhí)行官串远。
LangChain 框架 是由 Harrison Chase 在 2022 年 10 月作為開源軟件項(xiàng)目推出的宏多,旨在將大型語(yǔ)言模型(比如 GPT-4)與外部計(jì)算和數(shù)據(jù)源結(jié)合起來(lái)。
解決的問題
LangChain 主要解決以下問題:
- 數(shù)據(jù)感知:將語(yǔ)言模型與其他數(shù)據(jù)源相連接澡罚,使其具備對(duì)數(shù)據(jù)的感知能力伸但。
- 主動(dòng)性:允許語(yǔ)言模型與其環(huán)境進(jìn)行交互,具備主動(dòng)響應(yīng)和推理的能力留搔。
LangChain 旨在提供上下文感知和推理能力更胖,使應(yīng)用程序更智能和靈活。
生態(tài)系統(tǒng)
????? LangSmith
跟蹤和評(píng)估您的語(yǔ)言模型應(yīng)用程序和智能代理隔显,以幫助您從原型轉(zhuǎn)向生產(chǎn)却妨。
????? LangGraph
使用LLM構(gòu)建有狀態(tài)的多參與者應(yīng)用程序,構(gòu)建在(并打算與)LangChain原語(yǔ)一起使用括眠。
???? LangServe
將LangChain可運(yùn)行文件和鏈部署為REST API彪标。
安裝LangChain
LangChain 支持 Python 和 JavaScript 兩個(gè)開發(fā)版本,我們這個(gè)分享使用 python3.11 版本進(jìn)行講解掷豺。
安裝 Python 參考文檔:python安裝
安裝 langchain (版本 v0.2):
pip install langchain
更多詳情信息參考文檔:langchain安裝
小結(jié)
本文介紹了什么是大語(yǔ)言模型捞烟,LangChain 基本信息薄声、LangChain 生態(tài)系統(tǒng)以及 LangChain 安裝。
接下來(lái)题画,筆者將逐步深入介紹 LangChain 的入門開發(fā)默辨,為您揭開人工智能世界的新篇章!敬請(qǐng)期待苍息,探索LangChain的無(wú)限可能缩幸!
《構(gòu)建一個(gè)簡(jiǎn)單的LLM應(yīng)用程序》
《構(gòu)建聊天機(jī)器人》
《向量存儲(chǔ)和檢索》
《構(gòu)建代理》
......
本文由博客一文多發(fā)平臺(tái) OpenWrite 發(fā)布!