目錄

• 背景介紹
• 部署準備
• 部署Scikit-learn模型
• 部署XGBoost模型
• 部署LightGBM模型
• 部署PySpark模型
• 模型部署管理
• 總結(jié)
• 參考

背景介紹

AI的廣泛應用是由AI在開源技術(shù)的進步推動的虹统，利用功能強大的開源模型庫弓坞，數(shù)據(jù)科學家們可以很容易的訓練一個性能不錯的模型。但是因為模型生產(chǎn)環(huán)境和開發(fā)環(huán)境的不同窟却，涉及到不同角色人員：模型訓練是數(shù)據(jù)科學家和數(shù)據(jù)分析師的工作，但是模型部署是開發(fā)和運維工程師的事情呻逆，導致模型上線部署卻不是那么容易夸赫。

DaaS（Deployment-as-a-Service）是AutoDeployAI公司推出的基于Kubernetes的AI模型自動部署系統(tǒng)，提供一鍵式自動部署開源AI模型生成REST API咖城，以方便在生產(chǎn)環(huán)境中調(diào)用茬腿。下面，我們主要演示在DaaS中如何部署經(jīng)典機器學習模型宜雀，包括Scikit-learn切平、XGBoost、LightGBM辐董、和PySpark ML Pipelines悴品。關(guān)于深度學習模型的部署，會在下一章中介紹。

部署準備

我們使用DaaS提供的Python客戶端（DaaS-Client）來部署模型苔严，對于XGBoost和LightGBM定枷，我們同樣使用它們的Python API來作模型訓練。在訓練和部署模型之前届氢，我們需要完成以下操作欠窒。

1. 安裝Python DaaS-Client。

   pip install --upgrade git+https://github.com/autodeployai/daas-client.git
   

2. 初始化DaasClient退子。使用DaaS系統(tǒng)的URL岖妄、賬戶、密碼登陸系統(tǒng)寂祥，文本使用的DaaS演示系統(tǒng)安裝在本地的Minikube上荐虐。完整Jupyter Notebook，請參考：deploy-sklearn-xgboost-lightgbm-pyspark.ipynb

   from daas_client import DaasClient
   
   client = DaasClient('https://192.168.64.3:30931', 'username', 'password')
   

3. 創(chuàng)建項目壤靶。DaaS使用項目管理用戶不同的分析任務缚俏，一個項目中可以包含用戶的各種分析資產(chǎn)：模型、部署贮乳、程序腳本忧换、數(shù)據(jù)、數(shù)據(jù)源等向拆。項目創(chuàng)建成功后亚茬，設(shè)置為當前活動項目，發(fā)布的模型和創(chuàng)建的部署都會存儲在該項目下浓恳。create_project函數(shù)接受三個參數(shù)：

   1. 項目名稱：可以是任意有效的Linux文件目錄名刹缝。
   2. 項目路由：使用在部署的REST URL中來唯一表示當前項目，只能是小寫英文字符(a-z)颈将，數(shù)字(0-9)和中橫線-梢夯，并且-不能在開頭和結(jié)尾處。
   3. 項目說明（可選）：可以是任意字符晴圾。

   project = '部署測試'
   if not client.project_exists(project):
       client.create_project(project, 'deployment-test', '部署測試項目')
   client.set_project(project)
   

4. 初始化數(shù)據(jù)颂砸。我們使用流行的分類數(shù)據(jù)集iris來訓練不同的模型，并且把數(shù)據(jù)分割為訓練數(shù)據(jù)集和測試數(shù)據(jù)集以方便后續(xù)使用死姚。

   from sklearn import datasets
   from sklearn.model_selection import train_test_split
   import pandas as pd
   
   seed = 123456
   
   iris = datasets.load_iris()
   iris_target_name = 'Species'
   iris_feature_names = iris.feature_names
   iris_df = pd.DataFrame(iris.data, columns=iris_feature_names)
   iris_df[iris_target_name] = iris.target
   
   X, y = iris_df[iris_feature_names], iris_df[iris_target_name]
   X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=seed)    
   

5. 模型部署流程人乓。主要包含以下幾步：

   1. 訓練模型。使用模型庫提供的API都毒，在iris數(shù)據(jù)集上訓練模型色罚。
   2. 發(fā)布模型。調(diào)用publish函數(shù)發(fā)布模型到DaaS系統(tǒng)账劲。
   3. 測試模型（可選）戳护。調(diào)用test函數(shù)獲取測試API信息金抡，可以使用任意的REST客戶端程序測試模型在DaaS中是否工作正常，使用的是DaaS系統(tǒng)模型測試API姑尺。第一次執(zhí)行test會比較慢竟终，因為DaaS系統(tǒng)需要啟動測試運行時環(huán)境。
   4. 部署模型切蟋。發(fā)布成功后统捶，調(diào)用deploy函數(shù)部署部署模型”猓可以使用任意的REST客戶端程序測試模型部署喘鸟，使用的是DaaS系統(tǒng)正式部署API。

部署Scikit-learn模型

1. 訓練一個Scikit-learn分類模型：SVC驻右。

   from sklearn.svm import SVC
   
   model = SVC(probability=True, random_state=seed)
   model.fit(X_train, y_train)
   

2. 發(fā)布Scikit-learn模型什黑。

   publish_resp = client.publish(model,
                               name='iris',
                               mining_function='classification',
                               X_test=X_test,
                               y_test=y_test,
                               description='A SVC model')
   pprint(publish_resp)
   

   test函數(shù)必須要指定前兩個參數(shù)，第一個model是訓練的模型對象堪夭，第二個是模型名稱愕把，其余是可選參數(shù)：

   • mining_function：指定挖掘功能，可以指定為regression（回歸）森爽、classification（分類）恨豁、和clustering（聚類）。
   • X_test和y_test：指定測試訓練集爬迟，發(fā)布時計算模型評估指標橘蜜，比如針對分類模型，計算正確率（Accuracy）付呕，對于回歸模型计福，計算可釋方差（explained Variance）。
   • data_test： 同樣是指定測試訓練集徽职，但是該參數(shù)用在Spark模型上象颖，非Spark模型通過X_test和y_test指定。
   • description：模型描述姆钉。
   • params：記錄模型參數(shù)設(shè)置说订。

   publish_resp是一個字典類型的結(jié)果，記錄了模型名稱育韩，和發(fā)布的模型版本克蚂。該模型是iris模型的第一個版本闺鲸。

   {'model_name': 'iris', 'model_version': '1'}
   

3. 測試Scikit-learn模型筋讨。

   test_resp = client.test(publish_resp['model_name'], model_version=publish_resp['model_version'])
   pprint(test_resp)
   

   test_resp是一個字典類型的結(jié)果，記錄了測試REST API信息摸恍。如下悉罕，其中access_token是訪問令牌赤屋，一個長字符串，這里沒有顯示出來壁袄。endpoint_url指定測試REST API地址类早，payload提供了測試當前模型需要輸入的請求正文格式。

   {'access_token': 'A-LONG-STRING-OF-BEARER-TOKEN-USED-IN-HTTP-HEADER-AUTHORIZATION',
   'endpoint_url': 'https://192.168.64.3:30931/api/v1/test/deployment-test/daas-python37-faas/test',
   'payload': {'args': {'X': [{'petal length (cm)': 1.5,
                               'petal width (cm)': 0.4,
                               'sepal length (cm)': 5.7,
                               'sepal width (cm)': 4.4}],
                       'model_name': 'iris',
                       'model_version': '1'}}}
   

   使用requests調(diào)用測試API嗜逻，這里我們直接使用test_resp返回的測試payload涩僻，您也可以使用自定義的數(shù)據(jù)X，但是參數(shù)model_name和model_version必須使用上面輸出的值栈顷。

   response = requests.post(test_resp['endpoint_url'],
                           headers={'Authorization': 'Bearer {token}'.format(token=test_resp['access_token'])},
                           json=test_resp['payload'],
                           verify=False)
   pprint(response.json())
   

   返回結(jié)果逆日，不同于正式部署API，除了預測結(jié)果萄凤，測試API會同時返回標準控制臺輸出和標準錯誤輸出內(nèi)容室抽，以方便用戶碰到錯誤時，查看相關(guān)信息靡努。

   {'result': [{'PredictedValue': 0,
               'Probabilities': [0.8977133931668801,
                               0.05476023239878367,
                               0.047526374434336216]}],
   'stderr': [],
   'stdout': []}
   

4. 部署模型坪圾。

   deploy_resp = client.deploy(model_name='iris', 
                               deployment_name='iris-svc',
                               model_version=publish_resp['model_version'],
                               replicas=1)
   pprint(deploy_resp)
   

   deploy函數(shù)必須要指定模型名稱，和部署名稱惑朦。模型版本默認為當前最新版本（latest）兽泄，副本數(shù)默認是1。為了確保部署服務的穩(wěn)定性行嗤，還可以輸入部署運行時環(huán)境分配指定CPU核數(shù)和使用內(nèi)存量已日，默認為None，讓系統(tǒng)自動分配栅屏。

   deploy_resp是一個字典類型的結(jié)果飘千，記錄了正式部署REST API信息。如下栈雳，可以看到和測試結(jié)果類似护奈，在payload中，我們不需要在輸入模型名稱和版本哥纫，因為正式部署服務在創(chuàng)建是已經(jīng)記錄了這些信息霉旗，并且是一個獨占式服務。

   {'access_token': 'A-LONG-STRING-OF-BEARER-TOKEN-USED-IN-HTTP-HEADER-AUTHORIZATION',
   'endpoint_url': 'https://192.168.64.3:30931/api/v1/svc/deployment-test/iris-svc/predict',
   'payload': {'args': {'X': [{'petal length (cm)': 1.5,
                               'petal width (cm)': 0.4,
                               'sepal length (cm)': 5.7,
                               'sepal width (cm)': 4.4}]}}}
   

   使用requests調(diào)用測試API蛀骇，這里我們直接使用test_resp返回的測試payload厌秒，您也可以使用自定義的數(shù)據(jù)。

   response = requests.post(deploy_resp['endpoint_url'],
                        headers={'Authorization': 'Bearer {token}'.format(token=deploy_resp['access_token'])},
                        json=deploy_resp['payload'],
                        verify=False)
   pprint(response.json())
   

   返回結(jié)果:

   {'result': [{'PredictedValue': 0,
               'Probabilities': [0.8977133931668801,
                               0.05476023239878367,
                               0.047526374434336216]}]}
   

部署XGBoost模型

XGBoost提供了兩套Python API擅憔，一套是原生Python API鸵闪，另一套是基于Scikit-learn包裝API。您可以使用任何一種暑诸，下面的例子中我們使用基于Scikit-learn的Python API蚌讼。

1. 訓練一個分類XGBoost模型：

   from xgboost import XGBClassifier
   
   model = XGBClassifier(max_depth=3, objective='multi:softprob', random_state=seed)
   model = model.fit(X_train, y_train)
   

2. 發(fā)布XGBoost模型辟灰。

   publish_resp = client.publish(model,
                               name='iris',
                               mining_function='classification',
                               X_test=X_test,
                               y_test=y_test,
                               description='A XGBClassifier model')
   pprint(publish_resp)
   

   因為仍然使用了iris這個模型名稱，所以該模型是iris的第二個版本篡石。

   {'model_name': 'iris', 'model_version': '2'}
   

3. 測試XGBoost模型芥喇。和Scikit-learn流程相同。

4. 部署模型凰萨。和Scikit-learn流程相同继控，這里我們暫時先不創(chuàng)建獨立部署，后面我們會介紹如何在DaaS系統(tǒng)中管理部署胖眷，如何切換部署模型版本湿诊。

部署LightGBM模型

同XGBoost類似，LightGBM同樣提供了兩套Python API瘦材，一套是原生Python API厅须，另一套是基于Scikit-learn包裝API。您可以使用任何一種食棕，下面的例子中我們使用基于Scikit-learn的Python API朗和。

1. 訓練一個分類LightGBM模型：

   from lightgbm import LGBMClassifier
   
   model = LGBMClassifier()
   model = model.fit(X_train, y_train, eval_set=[(X_test, y_test)])
   

2. 發(fā)布LightGBM模型。

   publish_resp = client.publish(model,
                               name='iris',
                               mining_function='classification',
                               X_test=X_test,
                               y_test=y_test,
                               description='A LGBMClassifier model')
   pprint(publish_resp)
   

   LightGBM模型是iris的第三個版本簿晓。

   {'model_name': 'iris', 'model_version': '3'}
   

3. 測試LightGBM模型眶拉。和Scikit-learn流程相同。

4. 部署模型憔儿。和Scikit-learn流程相同忆植，這里我們暫時先不創(chuàng)建獨立部署。

部署PySpark模型

1. 訓練一個PySpark分類模型：RandomForestClassifier谒臼。PySpark模型必須是一個PipelineModel朝刊，也就是說必須使用Pipeline來建立模型，哪怕只有一個Pipeline節(jié)點蜈缤。

   from pyspark.sql import SparkSession
   from pyspark.ml.classification import RandomForestClassifier
   from pyspark.ml.feature import VectorAssembler
   from pyspark.ml import Pipeline
   
   spark = SparkSession.builder.getOrCreate()
   df = spark.createDataFrame(iris_df)
   
   df_train, df_test = df.randomSplit([0.7, 0.3], seed=seed)
   assembler = VectorAssembler(inputCols=iris_feature_names,
                               outputCol='features')
   
   rf = RandomForestClassifier(seed=seed).setLabelCol(iris_target_name)
   pipe = Pipeline(stages=[assembler, rf])
   model = pipe.fit(df_train)
   

2. 發(fā)布PySpark模型拾氓。

   publish_resp = client.publish(model,
                               name='iris',
                               mining_function='classification',
                               data_test=df_test,
                               description='A RandomForestClassifier of Spark model')
   pprint(publish_resp)
   

   PySpark模型是iris的第四個版本。

   {'model_name': 'iris', 'model_version': '4'}
   

3. 測試PySpark模型底哥。和Scikit-learn流程相同咙鞍。

4. 部署模型。和Scikit-learn流程相同趾徽，這里我們暫時先不創(chuàng)建獨立部署续滋。

模型部署管理

打開瀏覽器，登陸DaaS管理系統(tǒng)孵奶。進入項目部署測試疲酌，切換到模型標簽頁，有一個iris模型拒课，最新版本是v4徐勃，類型是Spark即我們最后發(fā)布的模型。

DaaS-models

點擊模型早像，進入模型主頁（概述）僻肖。當前v4是一個Spark Pipeline模型，正確率是94.23%卢鹦，并且顯示了iris不同版本正確率歷史圖臀脏。下面羅列了模型的輸入和輸出變量，以及評估結(jié)果冀自，當前為空揉稚，因為還沒有在DaaS中執(zhí)行任何的模型評估任務。

DaaS-model-overview-v4

點擊v4熬粗，可以自由切換到其他版本搀玖。比如，切換到v1驻呐。

DaaS-model-versions

v1版本是一個Scikit-learn SVM分類模型灌诅，正確率是98.00%。其他信息與v4類似含末。

DaaS-model-overview-v1

切換到模型部署標簽頁猜拾，有一個我們剛才創(chuàng)建的部署iris-svc，鼠標移動到操作菜單佣盒，選擇修改設(shè)置挎袜。可以看到肥惭，當前部署服務關(guān)聯(lián)的是模型v1盯仪，就是我們剛才通過deploy函數(shù)部署的iris第一個版本Scikit-learn模型。選擇最新的v4蜜葱，點擊命令保存并且重新部署磨总，該部署就會切換到v4版本。

DaaS-edit-service

總結(jié)

通過Python DaaS-Client我們可以很容易的部署訓練好的模型笼沥，并且在DaaS網(wǎng)絡(luò)客戶端管理這些模型和部署蚪燕，可以支持自由切換部署中的模型版本。除了支持部署網(wǎng)絡(luò)（Web）服務奔浅，DaaS還支持部署任務（Job）服務馆纳，通過任務我們可以運行離線批量預測和模型評估等，具體可以參考文章《自動部署PMML模型生成REST API》汹桦。

參考

• DaaS-Client：https://github.com/autodeployai/daas-client
• AutoDeployAI：https://www.autodeploy.ai/