文章代碼來源：《deep learning on keras》肩刃，非常好的一本書祟霍，大家如果英語好，推薦直接閱讀該書盈包，如果時(shí)間不夠沸呐，可以看看此系列文章，文章為我自己翻譯的內(nèi)容加上自己的一些思考呢燥，水平有限崭添，多有不足，請(qǐng)多指正叛氨，翻譯版權(quán)所有呼渣，若有轉(zhuǎn)載，請(qǐng)先聯(lián)系本人寞埠。
個(gè)人方向?yàn)閿?shù)值計(jì)算屁置，日后會(huì)向深度學(xué)習(xí)和計(jì)算問題的融合方面靠近，若有相近專業(yè)人士仁连，歡迎聯(lián)系蓝角。
系列文章：
一、搭建屬于你的第一個(gè)神經(jīng)網(wǎng)絡(luò)
二饭冬、訓(xùn)練完的網(wǎng)絡(luò)去哪里找
三使鹅、【keras實(shí)戰(zhàn)】波士頓房?jī)r(jià)預(yù)測(cè)
四、keras的function API
五昌抠、keras callbacks使用
六患朱、機(jī)器學(xué)習(xí)基礎(chǔ)Ⅰ：機(jī)器學(xué)習(xí)的四個(gè)標(biāo)簽
七、機(jī)器學(xué)習(xí)基礎(chǔ)Ⅱ：評(píng)估機(jī)器學(xué)習(xí)模型
八扰魂、機(jī)器學(xué)習(xí)基礎(chǔ)Ⅲ：數(shù)據(jù)預(yù)處理麦乞、特征工程和特征學(xué)習(xí)
九蕴茴、機(jī)器學(xué)習(xí)基礎(chǔ)Ⅳ：過擬合和欠擬合
十、機(jī)器學(xué)習(xí)基礎(chǔ)Ⅴ：機(jī)器學(xué)習(xí)的一般流程十一姐直、計(jì)算機(jī)視覺中的深度學(xué)習(xí)：卷積神經(jīng)網(wǎng)絡(luò)介紹
十二倦淀、計(jì)算機(jī)視覺中的深度學(xué)習(xí)：從零開始訓(xùn)練卷積網(wǎng)絡(luò)
十三、計(jì)算機(jī)視覺中的深度學(xué)習(xí)：使用預(yù)訓(xùn)練網(wǎng)絡(luò)
十四声畏、計(jì)算機(jī)視覺中的神經(jīng)網(wǎng)絡(luò)：可視化卷積網(wǎng)絡(luò)所學(xué)到的東西
我們將我們的數(shù)據(jù)分為訓(xùn)練集撞叽、驗(yàn)證集和測(cè)試集，我們不通過相同的數(shù)據(jù)來評(píng)估我們用來訓(xùn)練的模型插龄，原因很明顯：經(jīng)過一些很少批次的訓(xùn)練以后愿棋，全部的模型都開始過擬合，也就是說均牢，他們?cè)谖匆娺^的數(shù)據(jù)上的表現(xiàn)跟見過的數(shù)據(jù)比糠雨，不光停滯，還有可能下降徘跪。
機(jī)器學(xué)習(xí)的目標(biāo)就是要讓我們的模型在它沒見過的模型里面也表現(xiàn)得好甘邀，過擬合是主要的障礙，然而我們只能控制我們能觀測(cè)到的垮庐，接下來我們將會(huì)介紹一些減緩過擬合和最大化泛化(generalization)松邪，如何評(píng)估機(jī)器學(xué)習(xí)模型。
訓(xùn)練哨查、驗(yàn)證逗抑、測(cè)試集
評(píng)估模型歸納起來說就是將數(shù)據(jù)分為訓(xùn)練、驗(yàn)證和測(cè)試三個(gè)部分寒亥。你在訓(xùn)練集上訓(xùn)練模型邮府，在驗(yàn)證集上評(píng)估模型，當(dāng)你將模型訓(xùn)練準(zhǔn)備好了以后溉奕，在測(cè)試集上最后測(cè)一次挟纱。
你或許會(huì)問為什么不直接來兩個(gè)集合：一個(gè)訓(xùn)練集，一個(gè)測(cè)試集腐宋？在訓(xùn)練集上訓(xùn)練紊服，測(cè)試集上評(píng)估，這會(huì)簡(jiǎn)單的多胸竞。
其實(shí)呢欺嗤，除了我們的權(quán)重稱為參數(shù)，還有層數(shù)和層數(shù)大小稱為模型的超參數(shù)卫枝。你需要通過驗(yàn)證集的反饋來調(diào)整超參數(shù)煎饼，在驗(yàn)證集上訓(xùn)練會(huì)導(dǎo)致盡管你沒有直接在其上訓(xùn)練，但是結(jié)果還是很快會(huì)過擬合校赤。
這種現(xiàn)象的核心被稱為“信息泄露”吆玖。每次你根據(jù)模型在驗(yàn)證集上面的表現(xiàn)來調(diào)超參數(shù)的時(shí)候筒溃，一些驗(yàn)證集中的數(shù)據(jù)就會(huì)泄露到你的模型中，如果你只這么做一次沾乘，對(duì)于一個(gè)參數(shù)來做怜奖，那么就只會(huì)有很少的信息泄露到你的模型中，驗(yàn)證集仍然是用來評(píng)估你的模型的可靠的方法翅阵。但若你多次重復(fù)同一個(gè)驗(yàn)證集歪玲，就會(huì)漏進(jìn)來很多。
所以呢掷匠，如果你只選擇一個(gè)訓(xùn)練集滥崩，一個(gè)測(cè)試集，就會(huì)導(dǎo)致最后我們?cè)跍y(cè)試集雖然表現(xiàn)得可以讹语，但是泛化性不好钙皮。
簡(jiǎn)單的堅(jiān)持驗(yàn)證集
選一部分?jǐn)?shù)據(jù)作為測(cè)試集，在剩余的數(shù)據(jù)上訓(xùn)練顽决，最后在測(cè)試集上評(píng)估株灸。
驗(yàn)證集選取大致如上圖所示。
接下來用一個(gè)簡(jiǎn)單的例子來說明
num_validation_samples = 10000
# Shuffling the data is usually appropriate
np.random.shuffle(data)
# Define the validation set
validation_data = data[:num_validation_samples]
data = [num_validation_samples:]
# Define the training set
training_data = data[:]
# Train a model on the training data
# and evaluate it on the validation data
model = get_model()
model.train(training_data)
validation_score = model.evaluate(validation_data)
# At this point you can tune your model,
# retrain it, evaluate it, tune it again...
# Once you have tuned your hyperparameters,
# is it common to train your final model from scratch
# on all non-test data available.
model = get_model()
model.train(np.concatenate([training_data,
validation_data]))
test_score = model.evaluate(test_data)
np.random.shuffle用來隨機(jī)打亂數(shù)據(jù)擎值，以防原來存儲(chǔ)數(shù)據(jù)的順序?qū)τ谟?xùn)練產(chǎn)生影響，接下來兩句分別表示從所有的數(shù)據(jù)中取前面的數(shù)量的作為驗(yàn)證集逐抑，然后總的數(shù)據(jù)量變?yōu)樵瓉淼氖Ｏ乱徊糠逐儋x給訓(xùn)練集。
然而上述的只是一個(gè)最簡(jiǎn)單的版本厕氨，對(duì)于稍微比較復(fù)雜的還有小樣本的情況进每，我們隨機(jī)的劃分對(duì)于結(jié)果的影響就比較大，就需要用到k-fold來做命斧。
k-fold驗(yàn)證
首先將你的手頭的數(shù)據(jù)分成k等分田晚，分別對(duì)第i份驗(yàn)證，剩余的訓(xùn)練国葬。最后的score使用平均得到贤徒，這種方法能夠有效的解決你的訓(xùn)練結(jié)果很受數(shù)據(jù)劃分的情況跪腹。
k-fold方法如下
這里有一個(gè)簡(jiǎn)單的實(shí)例：
k = 4
num_validation_samples = len(data) // k
np.random.shuffle(data)
validation_scores = []
for fold in range(k):
# Select the validation data partition
validation_data = data[num_validation_samples * fold: num_validation_samples * (fold + 1)]
# The remainder of the data is used as training data.
# Note that the "+" operator below is list concatenation, not summation
training_data = data[:num_validation_samples * fold] + data[num_validation_samples * (fold + 1):]
# Create a brand new instance of our model (untrained)
model = get_model()
model.train(training_data)
validation_score = model.evaluate(validation_data)
validation_scores.append(validation_score)
# This is our validation score:
# the average of the validation scores of our k folds
validation_score = np.average(validation_scores)
# We train our final model on all non-test data available
model = get_model()
model.train(data)
test_score = model.evaluate(test_data)
首先k為所需要分的份數(shù)脖咐，又由于我們實(shí)際中不可能分的份數(shù)剛好都是總的數(shù)據(jù)量的約數(shù)，所以第二行采用//得到的就是結(jié)果的整數(shù)部分兼蜈。
之后的劃分就很簡(jiǎn)單了通孽。比較需要注意的是序宦，將訓(xùn)練的評(píng)估結(jié)果存下來最后k個(gè)循環(huán)結(jié)束以后再作平均。
