簡(jiǎn)說(shuō):5分鐘說(shuō)清“深度學(xué)習(xí)”

0. 核心概念概覽

  • “深度學(xué)習(xí)”技術(shù)是近年來(lái)“人工智能”再次風(fēng)靡的主要推動(dòng)力。
  • 早期的“人工智能”技術(shù)吼旧,依靠程序員總結(jié)輸入“明確的規(guī)則”郎嫁。
  • 生物的大腦都是高度專業(yè)化的,是為特定功能進(jìn)化出來(lái)的哮内。
  • 大腦是一個(gè)強(qiáng)大的模式識(shí)別器盗棵。
  • 大腦不管練習(xí)還是使用識(shí)別能力,都不是按照各種邏輯和規(guī)則進(jìn)行的北发。
  • 大腦是由神經(jīng)元組成的纹因。
  • 大腦的識(shí)別功能可以通過(guò)訓(xùn)練提高。
  • 神經(jīng)元用自己的參數(shù)處理輸入值鲫竞,若輸出值大于某個(gè)閾值辐怕,神經(jīng)元就被“激發(fā)”。
  • 神經(jīng)元的內(nèi)部參數(shù)从绘,包括權(quán)重和偏移值都是可調(diào)的寄疏。
  • 用數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過(guò)程,就是調(diào)整更新各個(gè)神經(jīng)元的內(nèi)部參數(shù)的過(guò)程僵井。
  • 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)在訓(xùn)練中不變陕截,是其中神經(jīng)元的參數(shù)決定了神經(jīng)網(wǎng)絡(luò)的功能。

1. 深度學(xué)習(xí)有什么用批什?

人工智能-->深度學(xué)習(xí)|神經(jīng)網(wǎng)絡(luò)|卷積神經(jīng)網(wǎng)絡(luò)--> 圖形識(shí)別农曲、語(yǔ)音識(shí)別、汽車導(dǎo)航...

段子1: 識(shí)別一只貓的能力

貓 AND 狗
  • 人很容易就能從一張照片里找到一只貓,可是在以前乳规,Google動(dòng)用了無(wú)比強(qiáng)大的計(jì)算力量形葬、花了很多年研究都做不到這一點(diǎn)。
  • 以前的計(jì)算機(jī)無(wú)法勝任暮的,因?yàn)橐郧暗某绦騿T不能總結(jié)出計(jì)算機(jī)能理解的明確規(guī)則笙以。
  • 但是2012年開(kāi)始,“深度學(xué)習(xí)”讓計(jì)算機(jī)識(shí)別圖形的能力突然變得無(wú)比強(qiáng)大冻辩,目前已經(jīng)超越了人類猖腕。

2. 人腦并不依賴規(guī)則

男性 OR 女性
  • 上圖是兩張人臉的照片,你是怎么判斷Ta是男是女的呢恨闪?
  • 你可能會(huì)說(shuō)女性長(zhǎng)得比較秀氣一些(眉毛比較細(xì)嗎倘感?輪廓比較小嗎?)
  • 體會(huì)一下咙咽,這是一個(gè)非常奇怪的感覺(jué)老玛,你明明知道貓長(zhǎng)什么樣,一眼就能區(qū)分男性女性犁珠,可是說(shuō)不清是怎么看出來(lái)的逻炊。
  • 一個(gè)法官說(shuō),什么叫色情作品犁享?我沒(méi)辦法給一個(gè)明文規(guī)定余素,但如果我看見(jiàn)了,就能識(shí)別出來(lái)炊昆。
  • 初級(jí)的計(jì)算機(jī)圖形識(shí)別桨吊,必須說(shuō)清一些明確的規(guī)則,讓計(jì)算機(jī)根據(jù)規(guī)則判斷凤巨。
  • 顯然视乐,人腦并不是根據(jù)規(guī)則做的判斷。

段子2: 蒼蠅 VS 超級(jí)計(jì)算機(jī)

蒼蠅 VS 超級(jí)計(jì)算機(jī)
  • 問(wèn):這只蒼蠅大腦只有10萬(wàn)個(gè)神經(jīng)元敢茁,能耗那么低佑淀,但是它能看、能飛彰檬、能尋找食物伸刃、還能繁殖。價(jià)值上億的超級(jí)計(jì)算機(jī)逢倍,消耗極大的能量捧颅,有龐大的體積,可是它的功能為什么還不如一只蒼蠅较雕?
  • 答:蒼蠅大腦是高度專業(yè)化的碉哑,進(jìn)化使得蒼蠅的大腦只具備這些特定的功能,而我們的計(jì)算機(jī)是通用的,你可以對(duì)它進(jìn)行各種編程扣典,它理論上可以干任何事情妆毕。

3. 人腦的識(shí)別能力

關(guān)鍵在于,大腦的識(shí)別能力激捏,不是靠臨時(shí)弄一些規(guī)則臨時(shí)編程设塔。大腦的每一個(gè)功能都是專門的神經(jīng)網(wǎng)絡(luò)長(zhǎng)出來(lái)的。
大腦給計(jì)算機(jī)科學(xué)家的四個(gè)暗示:

1. 大腦是一個(gè)強(qiáng)大的模式識(shí)別器远舅。

人腦非常善于在一個(gè)混亂的場(chǎng)景里識(shí)別出想要找的東西。比如從滿大街的人中痕钢,一眼就認(rèn)出你熟悉的人图柏。

2. 大腦不管練習(xí)還是使用識(shí)別能力,都不是按照各種邏輯和規(guī)則進(jìn)行的任连。

我們識(shí)別一個(gè)人臉蚤吹,并不是和一些抽象的規(guī)則進(jìn)行比對(duì)。我們不是通過(guò)測(cè)量?jī)裳壑g的距離來(lái)識(shí)別這個(gè)人随抠。我們一眼看過(guò)去裁着,就知道他是誰(shuí)了。

3. 大腦是由神經(jīng)元組成的拱她。

人腦由數(shù)百億個(gè)神經(jīng)元組成二驰,不是基于明確規(guī)則,而是基于神經(jīng)元的計(jì)算秉沼。

4. 大腦的識(shí)別功能可以通過(guò)訓(xùn)練提高桶雀。

一個(gè)人從小到大,不斷成長(zhǎng)唬复,大腦識(shí)別能力也是在不斷提高矗积。

4. 什么是“深度學(xué)習(xí)”?

簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)

從左到右分為三層

  • 第一層:輸入層(Input)輸入的數(shù)據(jù)
  • 第二層:隱藏層(Hidden)由神經(jīng)元組成敞咧,主要處理過(guò)程棘捣,可以有很多層
  • 第三層:輸出層(Output)由神經(jīng)元組成,負(fù)責(zé)作出判斷

深度學(xué)習(xí)就是中間有不止一層隱藏層神經(jīng)元的神經(jīng)網(wǎng)絡(luò)計(jì)算休建,深度的意思就是層次比較深乍恐。神經(jīng)網(wǎng)絡(luò)底層單元是神經(jīng)元。

簡(jiǎn)單神經(jīng)網(wǎng)絡(luò) vs 深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)

5. 用交通燈模型理解神經(jīng)元

交通信號(hào)燈--前進(jìn)判斷

上圖表現(xiàn)了一個(gè)根據(jù)交通信號(hào)燈判斷要不要前進(jìn)的神經(jīng)元丰包。
理解神經(jīng)元的基本原理禁熏,它由三部分組成:

1. 輸入
紅、黃邑彪、綠燈那個(gè)燈亮了瞧毙,可以用1表示亮,0表示滅。

2. 內(nèi)部參數(shù)(權(quán)重weight+偏移值bias)

  • 對(duì)每一個(gè)輸入值都給一個(gè)權(quán)重宙彪,比如給紅燈-1矩动,黃燈0,綠燈1释漆。
  • 偏移值是用來(lái)修正的悲没,圖中為-0.5。
  • 神經(jīng)元做的計(jì)算:把輸入的三個(gè)數(shù)字分別乘以各自的權(quán)重男图,相加示姿,然后加上偏移值。比如現(xiàn)在是紅燈逊笆,那么輸入的三個(gè)值就是1栈戳、0、0难裆,權(quán)重是-1子檀、0、1乃戈,所以計(jì)算結(jié)果就是:1x(-1) + 0x0 + 0x1 - 0.5 = -1.5
  • 真實(shí)的神經(jīng)元會(huì)加入非線性函數(shù)處理褂痰,并且確保輸出值都在0和1之間。

3. 輸出

  • 輸出是根據(jù)模型規(guī)則做出判斷
  • X>0 : 前進(jìn)
  • X<=0 : 停止

神經(jīng)元激發(fā)模型:
神經(jīng)元做的事情就是按照自己的權(quán)重參數(shù)把輸入值相加症虑,再加入偏移值缩歪,形成一個(gè)輸出值。如果輸出值大于某個(gè)閾值侦讨,我們就說(shuō)這個(gè)神經(jīng)元被“激發(fā)”了驶冒。

深度學(xué)習(xí)過(guò)程:
神經(jīng)元的內(nèi)部參數(shù),包括權(quán)重和偏移值都是可調(diào)的韵卤。用數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過(guò)程骗污,就是調(diào)整更新各個(gè)神經(jīng)元的內(nèi)部參數(shù)的過(guò)程。神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)在訓(xùn)練中不變沈条,是其中神經(jīng)元的參數(shù)決定了神經(jīng)網(wǎng)絡(luò)的功能需忿。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市蜡歹,隨后出現(xiàn)的幾起案子屋厘,更是在濱河造成了極大的恐慌,老刑警劉巖月而,帶你破解...
    沈念sama閱讀 211,290評(píng)論 6 491
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件汗洒,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡父款,警方通過(guò)查閱死者的電腦和手機(jī)溢谤,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,107評(píng)論 2 385
  • 文/潘曉璐 我一進(jìn)店門瞻凤,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人世杀,你說(shuō)我怎么就攤上這事阀参。” “怎么了瞻坝?”我有些...
    開(kāi)封第一講書人閱讀 156,872評(píng)論 0 347
  • 文/不壞的土叔 我叫張陵蛛壳,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我所刀,道長(zhǎng)衙荐,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書人閱讀 56,415評(píng)論 1 283
  • 正文 為了忘掉前任浮创,我火速辦了婚禮赫模,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘蒸矛。我一直安慰自己,他們只是感情好胸嘴,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,453評(píng)論 6 385
  • 文/花漫 我一把揭開(kāi)白布雏掠。 她就那樣靜靜地躺著,像睡著了一般劣像。 火紅的嫁衣襯著肌膚如雪乡话。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書人閱讀 49,784評(píng)論 1 290
  • 那天耳奕,我揣著相機(jī)與錄音绑青,去河邊找鬼。 笑死屋群,一個(gè)胖子當(dāng)著我的面吹牛闸婴,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播芍躏,決...
    沈念sama閱讀 38,927評(píng)論 3 406
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼邪乍,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了对竣?” 一聲冷哼從身側(cè)響起庇楞,我...
    開(kāi)封第一講書人閱讀 37,691評(píng)論 0 266
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎否纬,沒(méi)想到半個(gè)月后吕晌,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,137評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡临燃,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,472評(píng)論 2 326
  • 正文 我和宋清朗相戀三年睛驳,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了烙心。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,622評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡柏靶,死狀恐怖弃理,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情屎蜓,我是刑警寧澤痘昌,帶...
    沈念sama閱讀 34,289評(píng)論 4 329
  • 正文 年R本政府宣布,位于F島的核電站炬转,受9級(jí)特大地震影響辆苔,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜扼劈,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,887評(píng)論 3 312
  • 文/蒙蒙 一驻啤、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧荐吵,春花似錦骑冗、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書人閱讀 30,741評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至薯蝎,卻和暖如春遥倦,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背占锯。 一陣腳步聲響...
    開(kāi)封第一講書人閱讀 31,977評(píng)論 1 265
  • 我被黑心中介騙來(lái)泰國(guó)打工袒哥, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人消略。 一個(gè)月前我還...
    沈念sama閱讀 46,316評(píng)論 2 360
  • 正文 我出身青樓堡称,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親疑俭。 傳聞我的和親對(duì)象是個(gè)殘疾皇子粮呢,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,490評(píng)論 2 348

推薦閱讀更多精彩內(nèi)容