訓(xùn)練集與驗(yàn)證集
模型訓(xùn)練的過(guò)程其實(shí)就是在求【參數(shù)】的過(guò)程，我們先假定某類【模型】（比如決策樹模型）星著，然后用【訓(xùn)練集】來(lái)訓(xùn)練特笋，學(xué)習(xí)到對(duì)應(yīng)的最優(yōu)的【參數(shù)】。但是問題在于拢切，我們沒有辦法保證我們假設(shè)的那個(gè)【模型】是最優(yōu)的蒂萎，我們極有可能假設(shè)錯(cuò)誤對(duì)吧。那怎么辦呢淮椰？有一個(gè)簡(jiǎn)單的解決方案就是我們假設(shè)一堆的模型五慈，然后用【訓(xùn)練集】分別對(duì)這些模型來(lái)進(jìn)行訓(xùn)練纳寂，學(xué)習(xí)到每一個(gè)【模型】中分別對(duì)應(yīng)的參數(shù)——這是第一步，也就是【訓(xùn)練集】的任務(wù)泻拦。
那么我們已經(jīng)學(xué)習(xí)到了一堆的模型了毙芜，哪一個(gè)模型是最好的呢？這其實(shí)就是要來(lái)考察不同結(jié)構(gòu)的模型在這些data上的優(yōu)劣程度了争拐。通常來(lái)說(shuō)腋粥，我們用【超參數(shù)】來(lái)控制模型的結(jié)構(gòu)（例如正則項(xiàng)系數(shù)、神經(jīng)網(wǎng)絡(luò)中隱層的節(jié)點(diǎn)個(gè)數(shù)架曹，k值等）隘冲。那這個(gè)時(shí)候，我們就可以找一些數(shù)據(jù)來(lái)訓(xùn)練和學(xué)習(xí)我們具體的超參數(shù)了绑雄。用什么樣的數(shù)據(jù)呢展辞？直接用【訓(xùn)練集】肯定是不行的，因?yàn)槲覀儸F(xiàn)在的每一個(gè)模型都是用【訓(xùn)練集】來(lái)學(xué)習(xí)出來(lái)的绳慎，他們?cè)凇居?xùn)練集】上的效果已經(jīng)很好了纵竖，繼續(xù)用它們來(lái)訓(xùn)練超參數(shù)不會(huì)有太大的效果，所以說(shuō)我們就選擇了使用【驗(yàn)證集】來(lái)選擇這些超參數(shù)杏愤。這是第二步靡砌，也就是【驗(yàn)證集】的任務(wù)，我們也通常稱之為【調(diào)參】珊楼。
最后通殃，當(dāng)我們學(xué)習(xí)到了【參數(shù)】和【非參數(shù)】后，我們就確定了我們具體的模型結(jié)構(gòu)厕宗，這個(gè)時(shí)候我們?cè)儆靡恍?shù)據(jù)來(lái)測(cè)試這個(gè)模型在新的數(shù)據(jù)上的效果画舌。因此，我們就不能夠使用之前已經(jīng)使用過(guò)的數(shù)據(jù)了已慢，而要選擇一個(gè)全新的數(shù)據(jù)集曲聂，這既是【測(cè)試集】。這個(gè)時(shí)候我們就要來(lái)看最后的結(jié)果怎么樣佑惠，如果結(jié)果很好朋腋，那么說(shuō)明一切順利，但是如果結(jié)果很差膜楷，那問題出在哪里呢旭咽？其中可能的一個(gè)原因就是我們事先假定的那一類的【模型】（比如我們最先選擇的決策樹模型）并不是適合來(lái)分析這些數(shù)據(jù)，因此哪怕我們選擇出了這一堆決策樹模型中最好的一個(gè)（超參數(shù)的選擇過(guò)程）赌厅，它的效果依舊不怎么樣穷绵。
softmax函數(shù)
softmax公式的得出方法大概解釋可以解釋為：
首先假設(shè)樣本與理論標(biāo)準(zhǔn)函數(shù)的誤差（類似于線性回歸那一章中生成數(shù)據(jù)時(shí)疊加上的高斯誤差）服從正態(tài)分布（高斯分布），并且不同樣本之間獨(dú)立同分布特愿，
通過(guò)貝葉斯公式計(jì)算各個(gè)分類的概率仲墨，將高斯分布的公式帶入公式之后化簡(jiǎn)得到勾缭。
在一些地方softmax函數(shù)又被稱為歸一化指數(shù)（normalized exponential）
關(guān)于softmax函數(shù)選擇
看完代碼，明顯softmax和其他模型最與眾不同的特點(diǎn)就是softmax函數(shù)了目养，那么為什么選擇softmax函數(shù)呢漫拭？
softmax函數(shù)是來(lái)自于sigmoid函數(shù)在多分類情況下的推廣，他們的相同之處：
1.都具有良好的數(shù)據(jù)壓縮能力是實(shí)數(shù)域R→[ 0 , 1 ]的映射函數(shù)混稽，可以將雜亂無(wú)序沒有實(shí)際含義的數(shù)字直接轉(zhuǎn)化為每個(gè)分類的可能性概率。
2.都具有非常漂亮的導(dǎo)數(shù)形式审胚，便于反向傳播計(jì)算匈勋。
3.它們都是 soft version of max ，都可以將數(shù)據(jù)的差異明顯化膳叨。
相同的洽洁，他們具有著不同的特點(diǎn)，sigmoid函數(shù)可以看成softmax函數(shù)的特例菲嘴，softmax函數(shù)也可以看作sigmoid函數(shù)的推廣饿自。
1.sigmoid函數(shù)前提假設(shè)是樣本服從伯努利 (Bernoulli) 分布的假設(shè)，而softmax則是基于多項(xiàng)式分布龄坪。首先證明多項(xiàng)分布屬于指數(shù)分布族昭雌，這樣就可以使用廣義線性模型來(lái)擬合這個(gè)多項(xiàng)分布，由廣義線性模型推導(dǎo)出的目標(biāo)函數(shù)即為Softmax回歸的分類模型健田。
2.sigmoid函數(shù)用于分辨每一種情況的可能性烛卧，所以用sigmoid函數(shù)實(shí)現(xiàn)多分類問題的時(shí)候，概率并不是歸一的妓局，反映的是每個(gè)情況的發(fā)生概率总放，因此非互斥的問題使用sigmoid函數(shù)可以獲得比較漂亮的結(jié)果；softmax函數(shù)最初的設(shè)計(jì)思路適用于首先數(shù)字識(shí)別這樣的互斥的多分類問題好爬，因此進(jìn)行了歸一化操作局雄，使得最后預(yù)測(cè)的結(jié)果是唯一的。
為什么選擇的激活函數(shù)普遍具有梯度消失的特點(diǎn)?
開始的時(shí)候我一直好奇為什么選擇的激活函數(shù)普遍具有梯度消失的特點(diǎn)存炮，這樣不就讓部分神經(jīng)元失活使最后結(jié)果出問題嗎炬搭？后來(lái)看到一篇文章的描述才發(fā)現(xiàn)，正是因?yàn)槟M人腦的生物神經(jīng)網(wǎng)絡(luò)的方法僵蛛。在2001年有研究表明生物腦的神經(jīng)元工作具有稀疏性尚蝌，這樣可以節(jié)約盡可能多的能量，據(jù)研究充尉，只有大約1%-4%的神經(jīng)元被激活參與飘言，絕大多數(shù)情況下，神經(jīng)元是處于抑制狀態(tài)的驼侠，因此ReLu函數(shù)反而是更加優(yōu)秀的近似生物激活函數(shù)姿鸿。
所以第一個(gè)問題谆吴，抑制現(xiàn)象是必須發(fā)生的，這樣能更好的擬合特征苛预。
那么自然也引申出了第二個(gè)問題句狼，為什么sigmoid函數(shù)這類函數(shù)不行？
1.中間部分梯度值過(guò)腥饶场（最大只有0.25）因此即使在中間部分也沒有辦法明顯的激活腻菇，反而會(huì)在多層中失活，表現(xiàn)非常不好昔馋。
2.指數(shù)運(yùn)算在計(jì)算中過(guò)于復(fù)雜筹吐，不利于運(yùn)算，反而ReLu函數(shù)用最簡(jiǎn)單的梯度
在第二條解決之后秘遏，我們來(lái)看看ReLu函數(shù)所遇到的問題丘薛，
1.在負(fù)向部分完全失活，如果選擇的超參數(shù)不好等情況邦危，可能會(huì)出現(xiàn)過(guò)多神經(jīng)元失活洋侨，從而整個(gè)網(wǎng)絡(luò)死亡。
2.ReLu函數(shù)不是zero-centered倦蚪，即激活函數(shù)輸出的總是非負(fù)值希坚，而gradient也是非負(fù)值，在back propagate情況下總會(huì)得到與輸入x相同的結(jié)果陵且，同正或者同負(fù)吏够，因此收斂會(huì)顯著受到影響，一些要減小的參數(shù)和要增加的參數(shù)會(huì)受到捆綁限制滩报。
這兩個(gè)問題的解決方法分別是
1.如果出現(xiàn)神經(jīng)元失活的情況锅知，可以選擇調(diào)整超參數(shù)或者換成Leaky ReLu 但是，沒有證據(jù)證明任何情況下都是Leaky-ReLu好
2.針對(duì)非zero-centered情況脓钾，可以選擇用minibatch gradient decent 通過(guò)batch里面的正負(fù)調(diào)整售睹，或者使用ELU(Exponential Linear Units)但是同樣具有計(jì)算量過(guò)大的情況，同樣沒有證據(jù)ELU總是優(yōu)于ReLU可训。
所以絕大多數(shù)情況下建議使用ReLu昌妹。
訓(xùn)練誤差和泛化誤差
在解釋上述現(xiàn)象之前，我們需要區(qū)分訓(xùn)練誤差（training error）和泛化誤差（generalization error）握截。通俗來(lái)講飞崖，前者指模型在訓(xùn)練數(shù)據(jù)集上表現(xiàn)出的誤差，后者指模型在任意一個(gè)測(cè)試數(shù)據(jù)樣本上表現(xiàn)出的誤差的期望谨胞，并常常通過(guò)測(cè)試數(shù)據(jù)集上的誤差來(lái)近似固歪。計(jì)算訓(xùn)練誤差和泛化誤差可以使用之前介紹過(guò)的損失函數(shù)，例如線性回歸用到的平方損失函數(shù)和softmax回歸用到的交叉熵?fù)p失函數(shù)。
機(jī)器學(xué)習(xí)模型應(yīng)關(guān)注降低泛化誤差牢裳。
