第一周——深度學(xué)習(xí)概述
1捶闸、什么是神經(jīng)網(wǎng)絡(luò)
（1）單神經(jīng)元的網(wǎng)絡(luò) => 感知機(jī)/單層NN => MLP/ANN/BPNN。
（2）通過(guò)組合一些低層次的特征得到更高層次的特征铝阐，例如通過(guò)house size和bedroom數(shù)目推測(cè)該房屋可作為幾口之家址貌，然后利用高層抽象的特征去做預(yù)測(cè)。
（3）NN的輸入為特征向量徘键，這些特征可以表示該樣本练对；NN做特征的自動(dòng)抽取。
（4）要給夠數(shù)據(jù)吹害，基于input-output pair以監(jiān)督學(xué)習(xí)的方式訓(xùn)練NN螟凭，NN作為函數(shù)近似機(jī)，能夠找到最佳函數(shù)它呀，擬合數(shù)據(jù)螺男，學(xué)到輸入輸出對(duì)中所蘊(yùn)藏的那個(gè)函數(shù)。
2纵穿、用NN進(jìn)行監(jiān)督學(xué)習(xí)
（1）目前DL產(chǎn)生的經(jīng)濟(jì)效益絕大部分都來(lái)自于監(jiān)督學(xué)習(xí)下隧，即以監(jiān)督學(xué)習(xí)的方式訓(xùn)練得到一個(gè)model，然后用這個(gè)model做預(yù)測(cè)谓媒，來(lái)解決現(xiàn)實(shí)世界中的實(shí)際問(wèn)題淆院。
（2）將通過(guò)監(jiān)督學(xué)習(xí)得到的End-to-End組件嵌入到更大型的系統(tǒng)中。
（3）結(jié)構(gòu)化的數(shù)據(jù)篙耗，例如數(shù)據(jù)庫(kù)中的表迫筑，或者CSV文件，那種每一個(gè)特征都有明確定義的input sample和output label宗弯；非結(jié)構(gòu)化數(shù)據(jù)脯燃，音頻、圖片和文本等蒙保，由于DL辕棚，現(xiàn)在計(jì)算機(jī)也可以比較好地理解這些非結(jié)構(gòu)化數(shù)據(jù)了。
（4）DL創(chuàng)造的經(jīng)濟(jì)效益更多來(lái)自于結(jié)構(gòu)化數(shù)據(jù)，例如做一個(gè)更好的在線廣告推薦系統(tǒng)逝嚎。
3扁瓢、為什么深度學(xué)習(xí)會(huì)興起
（1）Scale drives deep learning progress，數(shù)據(jù)的規(guī)模和NN的規(guī)模补君。
（2）統(tǒng)計(jì)學(xué)習(xí)方法非常依賴于手工設(shè)計(jì)的特征引几。
（3）更多的數(shù)據(jù)+計(jì)算力的提升，是早期DL取得很大進(jìn)展的兩個(gè)原因挽铁。
（4）最近伟桅，算法方面也有了很多創(chuàng)新，趨勢(shì)就是更少的數(shù)據(jù)（例如遠(yuǎn)程監(jiān)督叽掘、半監(jiān)督學(xué)習(xí)楣铁、RL、GAN等）更扁，更少的模型參數(shù)（例如RNN不同時(shí)刻復(fù)用同一套參數(shù)和CNN的權(quán)值共享）盖腕，更少的超參（參考AlexNet=>VGG-16），NN更快的訓(xùn)練速度（例如通過(guò)ReLU引入非線性浓镜，能夠加速DL模型的訓(xùn)練過(guò)程）溃列。
（5）搞機(jī)器學(xué)習(xí)是一個(gè)不斷迭代不斷實(shí)驗(yàn)的過(guò)程，idea => code => experiment竖哩，通過(guò)實(shí)驗(yàn)去驗(yàn)證idea是否可行哭廉，去嘗試更多的想法，去改進(jìn)idea相叁。
