開源社區(qū)是技術發(fā)展的一個重要部分，對于AI大模型來說，也是如此。
我們在這篇文章中來嘗試通過開源工具來構建AI大模型的底座，涉及到的技術包括：
- Langchain
- OpenAI
- Flowise
- LocalAI
- Llama
使用Langchain構建第一個對話應用
如果你使用過ChatGPT锚扎，你應該知道它是一個基于大語言模型的應用程序，可以與人類進行多輪對話馁启。
為了讓大語言模型能夠與人類友好的多輪對話驾孔，我們需要引入兩個額外組件：
- ConversationBufferMemory，它幫助LLM記錄我們的對話過程惯疙。
- ConversationChain翠勉，它幫我們管理整個繪畫過程，通過調(diào)用BufferMemory中的對話信息霉颠，它可以讓無狀態(tài)的LLM了解我們的對話上下文对碌。
我們可以使用下面的代碼來通過Langchain實現(xiàn)一個簡易版的ChatGPT：
from langchain.llms import OpenAI
from langchain.chains import ConversationChain
from langchain.memory import ConversationBufferMemory
import os
os.environ["OPENAI_API_KEY"] = '...'
llm = OpenAI(temperature=0)
mem = ConversationBufferMemory()
# Here it is by default set to "AI"
conversation = ConversationChain(llm=llm, verbose=True, memory=mem)
conversation.predict(input="Hi there!")
通過Flowise零代碼搭建LLM應用平臺
Flowise官網(wǎng)：https://flowiseai.com/
Flowise is a low-code/no-code drag & drop tool with the aim to make it easy for people to visualize and build LLM apps.
我們可以在Windows/Mac/Linux中安裝Flowise，以Linux為例蒿偎，安裝Flowise步驟如下：
- 安裝NodeJS
- 安裝Docker和Docker compose
- 運行下面的腳本安裝和啟動Flowise
npm install -g flowise
npx flowise start
我們可以通過http://{server}:3000 來訪問Flowise朽们，截圖如下：
[圖片上傳失敗...(image-d57e95-1693743658308)]
通過Flowise Portal，我們可以創(chuàng)建新的Chatflow诉位，在打開的flow頁面骑脱，我們可以通過拖拽的方式，來構建flow：
[圖片上傳失敗...(image-be6683-1693743658309)]
例如苍糠，我們上面提到的通過Langchain來構建簡易ChatGPT應用叁丧，創(chuàng)建出來的flow如下截圖：
[圖片上傳失敗...(image-a9307d-1693743658309)]
我們可以通過頁面右上角的對話按鈕，對我們的flow進行測試：
[圖片上傳失敗...(image-e0c82b-1693743658309)]
在LLM應用中引入領域知識庫
在實際應用中岳瞭，我們可以為模型增加外部記憶拥娄，在提示詞中引入一些領域知識，來幫助模型提升回答質(zhì)量瞳筏。
這種方式的具體步驟如下：
- 對輸入文檔進行切片稚瘾，生成語義向量（Embedding），存入向量數(shù)據(jù)庫作為外部記憶姚炕。
- 根據(jù)所提的問題摊欠，檢索向量數(shù)據(jù)庫，獲取文檔中的內(nèi)容片段钻心。
- 把文檔片段和所提的問題一并組織成提示詞凄硼，提交給大語言模型铅协，讓其理解文檔內(nèi)容捷沸，針對問題生成恰當?shù)拇鸢浮?/li>
為了實現(xiàn)這個應用，我們需要引入以下組件：
- Docx File Loader狐史，負責加載外部輸入的文檔痒给。
- Recursive Character Text Splitter说墨，用來對文檔內(nèi)容進行斷句切片。
- OpenAI Embeddings苍柏，負責將斷句后的內(nèi)容切片映射成高維Embedding尼斧。
- In-Memory Vector Store，負責將Embedding存入數(shù)據(jù)庫中试吁，供LLM作為外部記憶棺棵。
- Conversational Retrieval QA Chain，負責根據(jù)問題熄捍，獲得外部知識烛恤，在LLM思考生成答案后返回給用戶。
使用Flowise構建上述的應用余耽，截圖如下：
[圖片上傳失敗...(image-41d95c-1693743658309)]
使用LocalAI做可用LLM應用
我們前面做的LLM應用都依賴于OpenAI API缚柏，會有一些風險，我們可以考慮構建本地大模型碟贾。
我們可以基于LocalAI開源應用來實現(xiàn)這一點币喧。
下面是搭建過程：
$ git clone https://github.com/go-skynet/LocalAI
$ cd LocalAI
我們使用一個小模型進行部署。
$ wget https://gpt4all.io/models/ggml-gpt4all-j.bin -O models/ggml-gpt4all-j
$ cp -rf prompt-templates/ggml-gpt4all-j.tmpl models/
然后我們可以加載models并將其封裝為API服務袱耽。
$ docker-compose pull
$ docker-compose up -d
接下來是獲取model列表進行驗證杀餐。
$ curl http://localhost:8080/v1/models
{"object":"list","data":[{"id":"ggml-gpt4all-j","object":"model"}]}
這樣我們可以修改Flowise，使用本地模型代替OpenAI朱巨。
[圖片上傳失敗...(image-2d39a5-1693743658309)]
使用Llama2構建LLM應用
我們還可以使用Llama2來構建LLM應用怜浅，這在應用許可上更加友好。
我們可以下載Llama2模型文件蔬崩。
$ wget -c "https://huggingface.co/TheBloke/Llama-2-7B-chat-GGML/resolve/main/llama-2-7b-chat.ggmlv3.q4_0.bin" ./models
然后重啟LocalAI恶座，查看Llama2是否被正常部署。
$ curl -v http://localhost:8080/v1/models
{"object":"list","data":[{"id":"llama-2-7b-chat.ggmlv3.q4_0.bin","object":"model"}]}
我們可以返回Flowise flow沥阳，將模型名字修改為llama-2-7b-chat.ggmlv3.q4_0.bin跨琳，這樣我們就可以使用Llama2來回答我們的問題。
再進一步桐罕，我們還可以嘗試使用AutoGPT或者AgentGPT來構建更加負責的LLM應用脉让，幫助我們完成更有挑戰(zhàn)性的事情。
