目錄
AI-Serving介紹
AI-Serving是一款開源的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型部署推理（inference）系統(tǒng)弄跌，支持標(biāo)準(zhǔn)的PMML和ONNX格式澡谭，同時(shí)提供HTTP和gRPC兩種接口攒射，方便在不同的生產(chǎn)環(huán)境中使用燥翅。
部署PMML模型
預(yù)測(cè)模型標(biāo)記語言PMML（Predictive Model Markup Language）是一套成熟的表示經(jīng)典機(jī)器學(xué)習(xí)模型的標(biāo)準(zhǔn)。AI-Serving通過PMML4S提供對(duì)PMML模型的高效預(yù)測(cè)服務(wù)敛劝，詳情參考《Inferencing Iris XGBoost PMML Model using AI-Serving》丐黄。
關(guān)于PMML詳情，參考文章《使用PMML部署機(jī)器學(xué)習(xí)模型》茴迁。
部署ONNX模型
開放神經(jīng)網(wǎng)絡(luò)交換ONNX（Open Neural Network Exchange）是一套表示深度神經(jīng)網(wǎng)絡(luò)模型的開放格式寄悯。AI-Serving通過ONNX Runtime提供高性能ONNX模型推斷服務(wù)，詳情參考《Inferencing MNIST ONNX Model using AI-Serving》堕义。
關(guān)于ONNX詳情猜旬，參考文章《使用ONNX部署深度學(xué)習(xí)和傳統(tǒng)機(jī)器學(xué)習(xí)模型》。
總結(jié)
AI-Serving主要關(guān)注在標(biāo)準(zhǔn)交換格式的模型部署倦卖，目前PMML和ONNX是在部署機(jī)器學(xué)習(xí)中使用最廣泛的的兩種格式洒擦。其他格式，比如PFA怕膛，也會(huì)在后續(xù)的考慮中熟嫩。
參考
- AI-Serving：https://github.com/autodeployai/ai-serving
