LeNet: 在大的真實數(shù)據(jù)集上的表現(xiàn)并不盡如?意。
1.神經(jīng)網(wǎng)絡(luò)計算復(fù)雜。
2.還沒有?量深?研究參數(shù)初始化和?凸優(yōu)化算法等諸多領(lǐng)域碎税。
機器學(xué)習(xí)的特征提取:手工定義的特征提取函數(shù)
神經(jīng)網(wǎng)絡(luò)的特征提取：通過學(xué)習(xí)得到數(shù)據(jù)的多級表征馏锡，并逐級表?越來越抽象的概念或模式雷蹂。
神經(jīng)網(wǎng)絡(luò)發(fā)展的限制:數(shù)據(jù)、硬件
AlexNet
首次證明了學(xué)習(xí)到的特征可以超越??設(shè)計的特征杯道，從而?舉打破計算機視覺研究的前狀匪煌。
特征：
8層變換，其中有5層卷積和2層全連接隱藏層，以及1個全連接輸出層萎庭。
將sigmoid激活函數(shù)改成了更加簡單的ReLU激活函數(shù)霜医。
用Dropout來控制全連接層的模型復(fù)雜度。
引入數(shù)據(jù)增強驳规，如翻轉(zhuǎn)肴敛、裁剪和顏色變化，從而進一步擴大數(shù)據(jù)集來緩解過擬合
