測試了一下發(fā)現(xiàn)聯(lián)邦學(xué)習(xí)方式建模和單機直接訓(xùn)練的結(jié)果差異很大丁眼，以下敘述具體的測試流程。
測試數(shù)據(jù)集是這樣的：
id,y,x1,x2
1001,0,11,5
1002,0,12,10
1003,0,13,15
1004,0,14,20
1005,0,15,25
1006,0,16,30
1007,0,17,35
1008,0,18,40
1009,0,19,45
1010,0,20,50
1011,1,21,55
1012,1,22,60
1013,1,23,65
1014,1,24,70
1015,1,25,75
1016,1,26,80
1017,1,27,85
1018,1,28,90
1019,1,29,95
1020,1,30,100
首先嘗試單機苞七，使用最傳統(tǒng)的邏輯回歸進行訓(xùn)練，編寫腳本如下：
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report
X = []
y = []
lines = open('data.csv').readlines()
for line in lines[1:]:
line = line.strip()
if not line:
continue
id, _y, _x1, _x2 = line.split(',')
X.append([int(_x1), int(_x2)])
y.append(int(_y))
X_train, y_train = X, y
X_test, y_test = X, y
model = LogisticRegression(max_iter=50)
model.fit(X_train, y_train)
print(model.n_iter_)
print(model.coef_)
print(model.intercept_)
print('--------------------')
y_pred = model.predict(X_test)
print(classification_report(y_test, y_pred))
運行結(jié)果：
[33]
[[0.14421473 0.72107365]]
[-40.81276865]
--------------------
precision recall f1-score support
0 1.00 1.00 1.00 10
1 1.00 1.00 1.00 10
accuracy 1.00 20
macro avg 1.00 1.00 1.00 20
weighted avg 1.00 1.00 1.00 20
可以看出，迭代了 33 次后收斂惠啄，模型參數(shù)為 [0.14421473, 0.72107365], -40.81276865 并且以訓(xùn)練集來預(yù)測的結(jié)果很好，全都預(yù)測成功了融柬。
接下來嘗試使用 fate 來進行縱向聯(lián)邦學(xué)習(xí)
數(shù)據(jù)拆分為 guest 方的 test_data1.csv
id,y,x1
1001,0,11
1002,0,12
1003,0,13
1004,0,14
1005,0,15
1006,0,16
1007,0,17
1008,0,18
1009,0,19
1010,0,20
1011,1,21
1012,1,22
1013,1,23
1014,1,24
1015,1,25
1016,1,26
1017,1,27
1018,1,28
1019,1,29
1020,1,30
和 host 方的 test_data2.csv
id,x2
1001,5
1002,10
1003,15
1004,20
1005,25
1006,30
1007,35
1008,40
1009,45
1010,50
1011,55
1012,60
1013,65
1014,70
1015,75
1016,80
1017,85
1018,90
1019,95
1020,100
分別 upload 后趋距，在 guset 方創(chuàng)建 dsl 和 conf 文件，參考了test_hetero_lr_job_dsl.json 和 test_hetero_lr_job_conf.json棚品，去掉了其中特征工程的兩個步驟，其他基本沒有變化门怪。
其中 dsl 文件如下：
{
"components" : {
"dataio_0": {
"module": "DataIO",
"input": {
"data": {
"data": [
"args.train_data"
]
}
},
"output": {
"data": ["train"],
"model": ["dataio"]
},
"need_deploy": true
},
"hetero_lr_0": {
"module": "HeteroLR",
"input": {
"data": {
"train_data": ["dataio_0.train"]
}
},
"output": {
"data": ["train"],
"model": ["hetero_lr"]
}
},
"evaluation_0": {
"module": "Evaluation",
"input": {
"data": {
"data": ["hetero_lr_0.train"]
}
},
"output": {
"data": ["evaluate"]
}
}
}
}
conf 文件如下：
{
"initiator": {
"role": "guest",
"party_id": 111
},
"job_parameters": {
"work_mode": 1,
"processors_per_node": 1,
"align_task_input_data_partition": true
},
"role": {
"guest": [111],
"host": [222],
"arbiter": [222]
},
"role_parameters": {
"guest": {
"args": {
"data": {
"train_data": [{"name": "testtb", "namespace": "testns"}]
}
},
"dataio_0":{
"with_label": [true],
"label_name": ["y"],
"label_type": ["int"],
"output_format": ["dense"]
}
},
"host": {
"args": {
"data": {
"train_data": [{"name": "testtb", "namespace": "testns"}]
}
},
"dataio_0":{
"with_label": [false],
"output_format": ["dense"]
}
}
},
"algorithm_parameters": {
"hetero_lr_0": {
"penalty": "L2",
"max_iter": 50,
"optimizer": "rmsprop",
"init_param": {
"init_method": "random_uniform"
}
}
}
}
然后發(fā)起任務(wù)
python fate_flow_client.py -f submit_job -c job_conf.json -d job_dsl.json
等待運行結(jié)束后查看結(jié)果，發(fā)現(xiàn)迭代了 50 次囤锉，仍未收斂，輸出模型參數(shù)為 [0.030564, 0.151934], -0.157896, 并且對結(jié)果的預(yù)測的評估也比單機訓(xùn)練的差了不少酿傍。
疑問
- 同一份訓(xùn)練數(shù)據(jù)輸出的模型參數(shù)為何會有如此大的差異赤炒？
- 本例中縱向聯(lián)邦訓(xùn)練效果不理想的主要原因是什么，調(diào)整 dsl 流程或參數(shù)可以得到改進嗎莺褒？
- 如果可以，針對此例的數(shù)據(jù)集你辣，應(yīng)該如何調(diào)整流程和參數(shù)尘执？
