程序的兩類任務(wù)
1.?通過常識(shí)與技巧編程渺鹦。
2.?用數(shù)據(jù)編程。
1.1 起源
數(shù)據(jù)分析正是大部分自然科學(xué)的本質(zhì)蛹含，我們希望從日常的觀測(cè)中提取規(guī)則毅厚，并找尋不確定性。
1.?只有兩種結(jié)果的隨機(jī)過程（如拋擲一枚硬幣）的伯努利分布
2.?最小二乘法（深入理解最小二乘法）
3.?線性判別分析和費(fèi)雪信息
4.?絕大多數(shù)神經(jīng)網(wǎng)絡(luò)都包含以下的核心原則
? ? 4.1?交替使用線性處理單元與非線性處理單元挣惰，它們經(jīng)常被稱為“層”卧斟。
? ? 4.2?使用鏈?zhǔn)椒▌t（即反向傳播）來更新網(wǎng)絡(luò)的參數(shù)。
5. 神經(jīng)網(wǎng)絡(luò)發(fā)展的低谷
? ? 5.1?盡管20世紀(jì)末內(nèi)存已經(jīng)足夠憎茂，計(jì)算力卻不夠充足
? ? 5.2?當(dāng)時(shí)使用的數(shù)據(jù)集也相對(duì)小得多
? ? 5.3?由于數(shù)據(jù)和計(jì)算力的稀缺珍语，從經(jīng)驗(yàn)上來說，如核方法竖幔、決策樹和概率圖模型等統(tǒng)計(jì)工具更優(yōu)板乙。它們不像神經(jīng)網(wǎng)絡(luò)一樣需要長(zhǎng)時(shí)間的訓(xùn)練，并且在強(qiáng)大的理論保證下提供可以預(yù)測(cè)的結(jié)果拳氢。
1.2 發(fā)展
1.?統(tǒng)計(jì)模型可以在優(yōu)化參數(shù)上投入更多的計(jì)算力募逞，但同時(shí)需要提高存儲(chǔ)的利用效率，例如使用非線性處理單元馋评。放接？
2.?下面的列表僅僅涵蓋了近十年來深度學(xué)習(xí)長(zhǎng)足發(fā)展的部分原因
????2.1?優(yōu)秀的容量控制方法，如丟棄法留特，使大型網(wǎng)絡(luò)的訓(xùn)練不再受制于過擬合
? ? 2.2?注意力機(jī)制解決了另一個(gè)困擾統(tǒng)計(jì)學(xué)超過一個(gè)世紀(jì)的問題：如何在不增加參數(shù)的情況下擴(kuò)展一個(gè)系統(tǒng)的記憶容量和復(fù)雜度纠脾。
? ? 2.3?記憶網(wǎng)絡(luò) [6]和神經(jīng)編碼器—解釋器 [7]這樣的多階設(shè)計(jì)使得針對(duì)推理過程的迭代建模方法變得可能玛瘸。
? ? 2.4?生成對(duì)抗網(wǎng)絡(luò)
? ? 2.5 多GPU訓(xùn)練
? ? 2.6?深度學(xué)習(xí)框架使得建模更加容易
1.3 成功案例
閱讀原著P6
1.4 特點(diǎn)
深度學(xué)習(xí)是具有多級(jí)表示的表征學(xué)習(xí)方法，在每一級(jí)（從原始數(shù)據(jù)開始）苟蹈，深度學(xué)習(xí)通過簡(jiǎn)單的函數(shù)將該級(jí)的表示變換為更高級(jí)的表示糊渊。
1.?深度學(xué)習(xí)的一個(gè)外在特點(diǎn)是端到端的訓(xùn)練
2.?我們正在經(jīng)歷從含參數(shù)統(tǒng)計(jì)模型轉(zhuǎn)向完全無參數(shù)的模型。
