0. 核心概念概覽
- “深度學(xué)習(xí)”技術(shù)是近年來(lái)“人工智能”再次風(fēng)靡的主要推動(dòng)力。
- 早期的“人工智能”技術(shù)吼旧,依靠程序員總結(jié)輸入“明確的規(guī)則”郎嫁。
- 生物的大腦都是高度專業(yè)化的,是為特定功能進(jìn)化出來(lái)的哮内。
- 大腦是一個(gè)強(qiáng)大的模式識(shí)別器盗棵。
- 大腦不管練習(xí)還是使用識(shí)別能力,都不是按照各種邏輯和規(guī)則進(jìn)行的北发。
- 大腦是由神經(jīng)元組成的纹因。
- 大腦的識(shí)別功能可以通過(guò)訓(xùn)練提高。
- 神經(jīng)元用自己的參數(shù)處理輸入值鲫竞,若輸出值大于某個(gè)閾值辐怕,神經(jīng)元就被“激發(fā)”。
- 神經(jīng)元的內(nèi)部參數(shù)从绘,包括權(quán)重和偏移值都是可調(diào)的寄疏。
- 用數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過(guò)程,就是調(diào)整更新各個(gè)神經(jīng)元的內(nèi)部參數(shù)的過(guò)程僵井。
- 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)在訓(xùn)練中不變陕截,是其中神經(jīng)元的參數(shù)決定了神經(jīng)網(wǎng)絡(luò)的功能。
1. 深度學(xué)習(xí)有什么用批什?
人工智能-->深度學(xué)習(xí)|神經(jīng)網(wǎng)絡(luò)|卷積神經(jīng)網(wǎng)絡(luò)--> 圖形識(shí)別农曲、語(yǔ)音識(shí)別、汽車導(dǎo)航...
段子1: 識(shí)別一只貓的能力
- 人很容易就能從一張照片里找到一只貓,可是在以前乳规,Google動(dòng)用了無(wú)比強(qiáng)大的計(jì)算力量形葬、花了很多年研究都做不到這一點(diǎn)。
- 以前的計(jì)算機(jī)無(wú)法勝任暮的,因?yàn)橐郧暗某绦騿T不能總結(jié)出計(jì)算機(jī)能理解的明確規(guī)則笙以。
- 但是2012年開(kāi)始,“深度學(xué)習(xí)”讓計(jì)算機(jī)識(shí)別圖形的能力突然變得無(wú)比強(qiáng)大冻辩,目前已經(jīng)超越了人類猖腕。
2. 人腦并不依賴規(guī)則
- 上圖是兩張人臉的照片,你是怎么判斷Ta是男是女的呢恨闪?
- 你可能會(huì)說(shuō)女性長(zhǎng)得比較秀氣一些(眉毛比較細(xì)嗎倘感?輪廓比較小嗎?)
- 體會(huì)一下咙咽,這是一個(gè)非常奇怪的感覺(jué)老玛,你明明知道貓長(zhǎng)什么樣,一眼就能區(qū)分男性女性犁珠,可是說(shuō)不清是怎么看出來(lái)的逻炊。
- 一個(gè)法官說(shuō),什么叫色情作品犁享?我沒(méi)辦法給一個(gè)明文規(guī)定余素,但如果我看見(jiàn)了,就能識(shí)別出來(lái)炊昆。
- 初級(jí)的計(jì)算機(jī)圖形識(shí)別桨吊,必須說(shuō)清一些明確的規(guī)則,讓計(jì)算機(jī)根據(jù)規(guī)則判斷凤巨。
- 顯然视乐,人腦并不是根據(jù)規(guī)則做的判斷。
段子2: 蒼蠅 VS 超級(jí)計(jì)算機(jī)
- 問(wèn):這只蒼蠅大腦只有10萬(wàn)個(gè)神經(jīng)元敢茁,能耗那么低佑淀,但是它能看、能飛彰檬、能尋找食物伸刃、還能繁殖。價(jià)值上億的超級(jí)計(jì)算機(jī)逢倍,消耗極大的能量捧颅,有龐大的體積,可是它的功能為什么還不如一只蒼蠅较雕?
- 答:蒼蠅大腦是高度專業(yè)化的碉哑,進(jìn)化使得蒼蠅的大腦只具備這些特定的功能,而我們的計(jì)算機(jī)是通用的,你可以對(duì)它進(jìn)行各種編程扣典,它理論上可以干任何事情妆毕。
3. 人腦的識(shí)別能力
關(guān)鍵在于,大腦的識(shí)別能力激捏,不是靠臨時(shí)弄一些規(guī)則臨時(shí)編程设塔。大腦的每一個(gè)功能都是專門的神經(jīng)網(wǎng)絡(luò)長(zhǎng)出來(lái)的。
大腦給計(jì)算機(jī)科學(xué)家的四個(gè)暗示:
1. 大腦是一個(gè)強(qiáng)大的模式識(shí)別器远舅。
人腦非常善于在一個(gè)混亂的場(chǎng)景里識(shí)別出想要找的東西。比如從滿大街的人中痕钢,一眼就認(rèn)出你熟悉的人图柏。
2. 大腦不管練習(xí)還是使用識(shí)別能力,都不是按照各種邏輯和規(guī)則進(jìn)行的任连。
我們識(shí)別一個(gè)人臉蚤吹,并不是和一些抽象的規(guī)則進(jìn)行比對(duì)。我們不是通過(guò)測(cè)量?jī)裳壑g的距離來(lái)識(shí)別這個(gè)人随抠。我們一眼看過(guò)去裁着,就知道他是誰(shuí)了。
3. 大腦是由神經(jīng)元組成的拱她。
人腦由數(shù)百億個(gè)神經(jīng)元組成二驰,不是基于明確規(guī)則,而是基于神經(jīng)元的計(jì)算秉沼。
4. 大腦的識(shí)別功能可以通過(guò)訓(xùn)練提高桶雀。
一個(gè)人從小到大,不斷成長(zhǎng)唬复,大腦識(shí)別能力也是在不斷提高矗积。
4. 什么是“深度學(xué)習(xí)”?
從左到右分為三層
- 第一層:輸入層(Input)輸入的數(shù)據(jù)
- 第二層:隱藏層(Hidden)由神經(jīng)元組成敞咧,主要處理過(guò)程棘捣,可以有很多層
- 第三層:輸出層(Output)由神經(jīng)元組成,負(fù)責(zé)作出判斷
深度學(xué)習(xí)就是中間有不止一層隱藏層神經(jīng)元的神經(jīng)網(wǎng)絡(luò)計(jì)算休建,深度的意思就是層次比較深乍恐。神經(jīng)網(wǎng)絡(luò)底層單元是神經(jīng)元。
5. 用交通燈模型理解神經(jīng)元
上圖表現(xiàn)了一個(gè)根據(jù)交通信號(hào)燈判斷要不要前進(jìn)的神經(jīng)元丰包。
理解神經(jīng)元的基本原理禁熏,它由三部分組成:
1. 輸入
紅、黃邑彪、綠燈那個(gè)燈亮了瞧毙,可以用1表示亮,0表示滅。
2. 內(nèi)部參數(shù)(權(quán)重weight+偏移值bias)
- 對(duì)每一個(gè)輸入值都給一個(gè)權(quán)重宙彪,比如給紅燈-1矩动,黃燈0,綠燈1释漆。
- 偏移值是用來(lái)修正的悲没,圖中為-0.5。
- 神經(jīng)元做的計(jì)算:把輸入的三個(gè)數(shù)字分別乘以各自的權(quán)重男图,相加示姿,然后加上偏移值。比如現(xiàn)在是紅燈逊笆,那么輸入的三個(gè)值就是1栈戳、0、0难裆,權(quán)重是-1子檀、0、1乃戈,所以計(jì)算結(jié)果就是:1x(-1) + 0x0 + 0x1 - 0.5 = -1.5
- 真實(shí)的神經(jīng)元會(huì)加入非線性函數(shù)處理褂痰,并且確保輸出值都在0和1之間。
3. 輸出
- 輸出是根據(jù)模型規(guī)則做出判斷
- X>0 : 前進(jìn)
- X<=0 : 停止
神經(jīng)元激發(fā)模型:
神經(jīng)元做的事情就是按照自己的權(quán)重參數(shù)把輸入值相加症虑,再加入偏移值缩歪,形成一個(gè)輸出值。如果輸出值大于某個(gè)閾值侦讨,我們就說(shuō)這個(gè)神經(jīng)元被“激發(fā)”了驶冒。
深度學(xué)習(xí)過(guò)程:
神經(jīng)元的內(nèi)部參數(shù),包括權(quán)重和偏移值都是可調(diào)的韵卤。用數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過(guò)程骗污,就是調(diào)整更新各個(gè)神經(jīng)元的內(nèi)部參數(shù)的過(guò)程。神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)在訓(xùn)練中不變沈条,是其中神經(jīng)元的參數(shù)決定了神經(jīng)網(wǎng)絡(luò)的功能需忿。