本文基于Python語言的Flask框架封裝自定義的大語言模型推理的API膏秫，該API實現(xiàn)了JWT的用戶認證肚吏，用戶數(shù)據(jù)保存在內置的sqllite數(shù)據(jù)庫中涎劈。涉及技術有：輕量數(shù)據(jù)庫sqlite轿偎、向量數(shù)據(jù)庫VDB典鸡、AppBuilder SDK、千帆SDK坏晦、流式輸出萝玷、JWT認證等嫁乘。
一、前言
下面代碼涉及到的python模塊請使用pip install -r requirements.txt進行安裝球碉。
appbuilder_sdk==0.9.3
Flask==3.0.3
PyJWT==2.9.0
qianfan==0.4.8
二蜓斧、代碼示例
細節(jié)內容請?zhí)D：https://cloud.baidu.com/qianfandev/topic/362164
三、測試效果
測試與大語言模型的對話睁冬，
http://localhost:5000/chat_with_ABSDK?user_input=你有什么高興的事挎春？
注意：在header中的token設置，我這是使用Postman進行測試豆拨。
可以看到流式輸出的結果：
