0. 核心概念概覽
- “深度學(xué)習(xí)”技術(shù)是近年來(lái)“人工智能”再次風(fēng)靡的主要推動(dòng)力。
- 早期的“人工智能”技術(shù)吼旧，依靠程序員總結(jié)輸入“明確的規(guī)則”郎嫁。
- 生物的大腦都是高度專業(yè)化的，是為特定功能進(jìn)化出來(lái)的哮内。
- 大腦是一個(gè)強(qiáng)大的模式識(shí)別器盗棵。
- 大腦不管練習(xí)還是使用識(shí)別能力，都不是按照各種邏輯和規(guī)則進(jìn)行的北发。
- 大腦是由神經(jīng)元組成的纹因。
- 大腦的識(shí)別功能可以通過(guò)訓(xùn)練提高。
- 神經(jīng)元用自己的參數(shù)處理輸入值鲫竞，若輸出值大于某個(gè)閾值辐怕，神經(jīng)元就被“激發(fā)”。
- 神經(jīng)元的內(nèi)部參數(shù)从绘，包括權(quán)重和偏移值都是可調(diào)的寄疏。
- 用數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過(guò)程，就是調(diào)整更新各個(gè)神經(jīng)元的內(nèi)部參數(shù)的過(guò)程僵井。
- 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)在訓(xùn)練中不變陕截，是其中神經(jīng)元的參數(shù)決定了神經(jīng)網(wǎng)絡(luò)的功能。
1. 深度學(xué)習(xí)有什么用批什？
人工智能-->深度學(xué)習(xí)|神經(jīng)網(wǎng)絡(luò)|卷積神經(jīng)網(wǎng)絡(luò)--> 圖形識(shí)別农曲、語(yǔ)音識(shí)別、汽車導(dǎo)航...
段子1: 識(shí)別一只貓的能力
- 人很容易就能從一張照片里找到一只貓，可是在以前乳规，Google動(dòng)用了無(wú)比強(qiáng)大的計(jì)算力量形葬、花了很多年研究都做不到這一點(diǎn)。
- 以前的計(jì)算機(jī)無(wú)法勝任暮的，因?yàn)橐郧暗某绦騿T不能總結(jié)出計(jì)算機(jī)能理解的明確規(guī)則笙以。
- 但是2012年開(kāi)始，“深度學(xué)習(xí)”讓計(jì)算機(jī)識(shí)別圖形的能力突然變得無(wú)比強(qiáng)大冻辩，目前已經(jīng)超越了人類猖腕。
2. 人腦并不依賴規(guī)則
- 上圖是兩張人臉的照片，你是怎么判斷Ta是男是女的呢恨闪？
- 你可能會(huì)說(shuō)女性長(zhǎng)得比較秀氣一些（眉毛比較細(xì)嗎倘感？輪廓比較小嗎？）
- 體會(huì)一下咙咽，這是一個(gè)非常奇怪的感覺(jué)老玛，你明明知道貓長(zhǎng)什么樣，一眼就能區(qū)分男性女性犁珠，可是說(shuō)不清是怎么看出來(lái)的逻炊。
- 一個(gè)法官說(shuō)，什么叫色情作品犁享？我沒(méi)辦法給一個(gè)明文規(guī)定余素，但如果我看見(jiàn)了，就能識(shí)別出來(lái)炊昆。
- 初級(jí)的計(jì)算機(jī)圖形識(shí)別桨吊，必須說(shuō)清一些明確的規(guī)則，讓計(jì)算機(jī)根據(jù)規(guī)則判斷凤巨。
- 顯然视乐，人腦并不是根據(jù)規(guī)則做的判斷。
段子2: 蒼蠅 VS 超級(jí)計(jì)算機(jī)
- 問(wèn)：這只蒼蠅大腦只有10萬(wàn)個(gè)神經(jīng)元敢茁，能耗那么低佑淀，但是它能看、能飛彰檬、能尋找食物伸刃、還能繁殖。價(jià)值上億的超級(jí)計(jì)算機(jī)逢倍，消耗極大的能量捧颅，有龐大的體積，可是它的功能為什么還不如一只蒼蠅较雕？
- 答：蒼蠅大腦是高度專業(yè)化的碉哑，進(jìn)化使得蒼蠅的大腦只具備這些特定的功能，而我們的計(jì)算機(jī)是通用的，你可以對(duì)它進(jìn)行各種編程扣典，它理論上可以干任何事情妆毕。
3. 人腦的識(shí)別能力
關(guān)鍵在于，大腦的識(shí)別能力激捏，不是靠臨時(shí)弄一些規(guī)則臨時(shí)編程设塔。大腦的每一個(gè)功能都是專門的神經(jīng)網(wǎng)絡(luò)長(zhǎng)出來(lái)的。
大腦給計(jì)算機(jī)科學(xué)家的四個(gè)暗示：
1. 大腦是一個(gè)強(qiáng)大的模式識(shí)別器远舅。
人腦非常善于在一個(gè)混亂的場(chǎng)景里識(shí)別出想要找的東西。比如從滿大街的人中痕钢，一眼就認(rèn)出你熟悉的人图柏。
2. 大腦不管練習(xí)還是使用識(shí)別能力，都不是按照各種邏輯和規(guī)則進(jìn)行的任连。
我們識(shí)別一個(gè)人臉蚤吹，并不是和一些抽象的規(guī)則進(jìn)行比對(duì)。我們不是通過(guò)測(cè)量?jī)裳壑g的距離來(lái)識(shí)別這個(gè)人随抠。我們一眼看過(guò)去裁着，就知道他是誰(shuí)了。
3. 大腦是由神經(jīng)元組成的拱她。
人腦由數(shù)百億個(gè)神經(jīng)元組成二驰，不是基于明確規(guī)則，而是基于神經(jīng)元的計(jì)算秉沼。
4. 大腦的識(shí)別功能可以通過(guò)訓(xùn)練提高桶雀。
一個(gè)人從小到大，不斷成長(zhǎng)唬复，大腦識(shí)別能力也是在不斷提高矗积。
4. 什么是“深度學(xué)習(xí)”？
從左到右分為三層
- 第一層：輸入層（Input）輸入的數(shù)據(jù)
- 第二層：隱藏層（Hidden）由神經(jīng)元組成敞咧，主要處理過(guò)程棘捣，可以有很多層
- 第三層：輸出層（Output）由神經(jīng)元組成，負(fù)責(zé)作出判斷
深度學(xué)習(xí)就是中間有不止一層隱藏層神經(jīng)元的神經(jīng)網(wǎng)絡(luò)計(jì)算休建，深度的意思就是層次比較深乍恐。神經(jīng)網(wǎng)絡(luò)底層單元是神經(jīng)元。
5. 用交通燈模型理解神經(jīng)元
上圖表現(xiàn)了一個(gè)根據(jù)交通信號(hào)燈判斷要不要前進(jìn)的神經(jīng)元丰包。
理解神經(jīng)元的基本原理禁熏，它由三部分組成：
1. 輸入
紅、黃邑彪、綠燈那個(gè)燈亮了瞧毙，可以用1表示亮，0表示滅。
2. 內(nèi)部參數(shù)（權(quán)重weight+偏移值bias）
- 對(duì)每一個(gè)輸入值都給一個(gè)權(quán)重宙彪，比如給紅燈-1矩动，黃燈0，綠燈1释漆。
- 偏移值是用來(lái)修正的悲没，圖中為-0.5。
- 神經(jīng)元做的計(jì)算：把輸入的三個(gè)數(shù)字分別乘以各自的權(quán)重男图，相加示姿，然后加上偏移值。比如現(xiàn)在是紅燈逊笆，那么輸入的三個(gè)值就是1栈戳、0、0难裆，權(quán)重是-1子檀、0、1乃戈，所以計(jì)算結(jié)果就是：1x(-1) + 0x0 + 0x1 - 0.5 = -1.5
- 真實(shí)的神經(jīng)元會(huì)加入非線性函數(shù)處理褂痰，并且確保輸出值都在0和1之間。
3. 輸出
- 輸出是根據(jù)模型規(guī)則做出判斷
- X>0 : 前進(jìn)
- X<=0 : 停止
神經(jīng)元激發(fā)模型：
神經(jīng)元做的事情就是按照自己的權(quán)重參數(shù)把輸入值相加症虑，再加入偏移值缩歪，形成一個(gè)輸出值。如果輸出值大于某個(gè)閾值侦讨，我們就說(shuō)這個(gè)神經(jīng)元被“激發(fā)”了驶冒。
深度學(xué)習(xí)過(guò)程：
神經(jīng)元的內(nèi)部參數(shù)，包括權(quán)重和偏移值都是可調(diào)的韵卤。用數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過(guò)程骗污，就是調(diào)整更新各個(gè)神經(jīng)元的內(nèi)部參數(shù)的過(guò)程。神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)在訓(xùn)練中不變沈条，是其中神經(jīng)元的參數(shù)決定了神經(jīng)網(wǎng)絡(luò)的功能需忿。
