0.完整代碼
下面一段代碼實現(xiàn)了2個功能：
1.用keras庫編程實現(xiàn)擬合線性方程的回歸模型善涨；
2.對比了4種優(yōu)化器的性能廊酣。
解釋每一行代碼的作用：
第1行代碼從keras.models庫中導(dǎo)入Sequential類北救；
第2行代碼從keras.layers庫中導(dǎo)入Dense類讲仰；
第3行代碼從keras庫中導(dǎo)入optimizers庫懂更；
第4行代碼導(dǎo)入numpy庫砸王，起別名np陨享；
第6行代碼是python中定義主函數(shù)的固定格式葱淳；
第7行代碼定義變量w钝腺，即線性方程中的斜率；
第8行代碼定義變量b赞厕，即線性方程中的縱截距艳狐；
第9行代碼調(diào)用np.linspace方法定義2-100中間的50個點，賦值給變量X皿桑；
第10行代碼利用ndarray對象的廣播性質(zhì)毫目，對矩陣的每個值乘以w，再加上b诲侮；
第11行代碼打印變量X中的前5個數(shù)镀虐；
第12行代碼打印變量Y中的前5個數(shù)；
第13行代碼調(diào)用optimizers.Adam類初始化方法沟绪，實例化對象賦值給變量adam刮便；
第14行代碼調(diào)用optimizers.SGD類初始化方法，實例化對象賦值給變量sgd绽慈；
第15行代碼調(diào)用optimizers.Adagrad類初始化方法恨旱，實例化對象賦值給變量adagrad；
第16行代碼調(diào)用optimizers.Adadelta類初始化方法坝疼，實例化對象賦值給變量adadelta搜贤；
第17行代碼將4種優(yōu)化器整合到列表optimizer_list中；
第18行代碼將4種輪次整合到列表epochs_list中钝凶，epochs中文叫做輪次仪芒；
第19-20行代碼是一個2重循環(huán)，對4種輪次腿椎、4種優(yōu)化器組合循環(huán)桌硫。
第21行代碼調(diào)用Sequential類初始化方法，實例化對象賦值給變量model啃炸；
第22行代碼調(diào)用變量model的add方法铆隘，添加全連接層，全連接層輸入input_dim為1南用，輸出units為1膀钠；
第23行代碼調(diào)用變量model的compile方法，方法需要2個參數(shù)裹虫，第1個關(guān)鍵字參數(shù)loss的數(shù)據(jù)類型為字符串肿嘲，第2個關(guān)鍵字參數(shù)optimizer的數(shù)據(jù)類型為優(yōu)化器對象；
第24行代碼調(diào)用變量model的fit方法筑公，開啟模型訓(xùn)練雳窟，fit方法需要5個參數(shù)，第1個參數(shù)是特征矩陣X匣屡，第2個參數(shù)是預(yù)測目標(biāo)值Y封救，第3個關(guān)鍵字參數(shù)steps_per_epoch是每輪訓(xùn)練步數(shù)拇涤，第4個關(guān)鍵字參數(shù)epochs是訓(xùn)練輪次，第5個關(guān)鍵字參數(shù)verbose為是否打印訓(xùn)練過程的信息誉结；
第25行代碼獲取已經(jīng)訓(xùn)練好模型的w值鹅士，賦值給變量trained_w；
第26行代碼獲取已經(jīng)訓(xùn)練好模型的b值惩坑，賦值給變量trained_b掉盅；
第27行代碼調(diào)用絕對值方法abs，計算w值誤差以舒，賦值給變量w_error趾痘；
第28行代碼調(diào)用絕對值方法abs，計算b值誤差稀轨，賦值給變量b_error扼脐；
第29-30行代碼打印提示信息岸军。
from keras.models import Sequential
from keras.layers import Dense
from keras import optimizers
import numpy as np
if __name__ == '__main__':
w = 2.5
b = 1.5
X = np.linspace(2, 100, 50)
Y = X * w + b
print('X[:5]:', X[:5])
print('Y[:5]:', Y[:5])
adam = optimizers.Adam(lr=0.02)
sgd = optimizers.SGD(lr=0.0002)
adagrad = optimizers.Adagrad(lr=0.3)
adadelta = optimizers.Adadelta(lr=0.3)
optimizer_list = [adam, sgd, adagrad, adadelta]
epochs_list = [100, 200, 500, 1000]
for epochs in epochs_list:
for optimizer in optimizer_list:
model = Sequential()
model.add(Dense(input_dim=1, units=1))
model.compile(loss='mse', optimizer=optimizer)
model.fit(X, Y, steps_per_epoch=10, epochs=epochs, verbose=False)
trained_w = model.layers[0].get_weights()[0][0][0]
trained_b = model.layers[0].get_weights()[1][0]
w_error = abs(trained_w - w)
b_error = abs(trained_b - b)
print('epochs:%d, 優(yōu)化器種類:%s,\t w誤差:%.4f, b誤差:%.4f'
%(epochs, optimizer.__class__, w_error, b_error))
上面一段代碼的運行結(jié)果如下：
X[:5]: [ 2. 4. 6. 8. 10.]
Y[:5]: [ 6.5 11.5 16.5 21.5 26.5]
epochs:100, 優(yōu)化器種類:<class 'keras.optimizers.Adam'>, w誤差:0.0083, b誤差:0.5539
epochs:100, 優(yōu)化器種類:<class 'keras.optimizers.SGD'>, w誤差:0.0195, b誤差:1.3155
epochs:100, 優(yōu)化器種類:<class 'keras.optimizers.Adagrad'>, w誤差:0.0297, b誤差:1.9919
epochs:100, 優(yōu)化器種類:<class 'keras.optimizers.Adadelta'>, w誤差:0.4450, b誤差:0.9875
epochs:200, 優(yōu)化器種類:<class 'keras.optimizers.Adam'>, w誤差:0.0032, b誤差:0.2133
epochs:200, 優(yōu)化器種類:<class 'keras.optimizers.SGD'>, w誤差:0.0181, b誤差:1.2160
epochs:200, 優(yōu)化器種類:<class 'keras.optimizers.Adagrad'>, w誤差:0.0046, b誤差:0.3051
epochs:200, 優(yōu)化器種類:<class 'keras.optimizers.Adadelta'>, w誤差:0.3739, b誤差:0.3786
epochs:500, 優(yōu)化器種類:<class 'keras.optimizers.Adam'>, w誤差:0.0000, b誤差:0.0000
epochs:500, 優(yōu)化器種類:<class 'keras.optimizers.SGD'>, w誤差:0.0135, b誤差:0.9093
epochs:500, 優(yōu)化器種類:<class 'keras.optimizers.Adagrad'>, w誤差:0.0050, b誤差:0.3327
epochs:500, 優(yōu)化器種類:<class 'keras.optimizers.Adadelta'>, w誤差:0.0027, b誤差:0.0172
epochs:1000, 優(yōu)化器種類:<class 'keras.optimizers.Adam'>, w誤差:0.0000, b誤差:0.0000
epochs:1000, 優(yōu)化器種類:<class 'keras.optimizers.SGD'>, w誤差:0.0083, b誤差:0.5563
epochs:1000, 優(yōu)化器種類:<class 'keras.optimizers.Adagrad'>, w誤差:0.0141, b誤差:0.9425
epochs:1000, 優(yōu)化器種類:<class 'keras.optimizers.Adadelta'>, w誤差:0.0101, b誤差:0.4870
從上面的運行結(jié)果可以看出：
在epochs為100時奋刽，Adam優(yōu)化器效果最優(yōu)，SGD優(yōu)化器次優(yōu)艰赞；
在epochs為200時佣谐，Adam優(yōu)化器效果最優(yōu)，Adagrad優(yōu)化器次優(yōu)方妖；
在epochs為500時狭魂，Adam優(yōu)化器效果最優(yōu)，Adadelta優(yōu)化器次優(yōu)党觅；
在epochs為1000時雌澄，Adam優(yōu)化器效果最優(yōu)。
1.結(jié)論
對于線性方程的回歸模型杯瞻，使用Adam優(yōu)化器能夠得到不錯的擬合效果镐牺。
