人類(lèi)的記憶并不可靠冷守，對(duì)故事的每次復(fù)述都會(huì)導(dǎo)致記憶的偏差然评，這個(gè)過(guò)程叫作“重整記憶”
如果說(shuō)數(shù)據(jù)是新時(shí)代的石油节预，那么學(xué)習(xí)算法就是從中提取信息的煉油廠叶摄；信息積累成知識(shí)；知識(shí)深化成理解安拟；理解演變?yōu)橹腔邸?/p>
現(xiàn)實(shí)生活包括虛張聲勢(shì)蛤吓，一點(diǎn)欺騙手段，以及自問(wèn)另一個(gè)人會(huì)怎么評(píng)判我做事的意圖糠赦。這就是我理論中博弈的內(nèi)涵会傲。”撲克是一種博弈拙泽，反映了經(jīng)過(guò)進(jìn)化精煉過(guò)的人類(lèi)智能的一部分
流體智力能夠?qū)⑿聴l件中的推理和模式識(shí)別用于解決新問(wèn)題淌山，而不依賴(lài)于以前的知識(shí)；晶體智力則依賴(lài)于先前的知識(shí)顾瞻，也是標(biāo)準(zhǔn)智商測(cè)試（即IQ測(cè)試）的對(duì)象泼疑。流體智力遵循一種拋物線式發(fā)展軌跡，在成年早期達(dá)到高峰荷荤，并隨著年齡的增長(zhǎng)逐漸下降退渗；而晶體智力會(huì)隨年齡的增長(zhǎng)移稳，緩慢漸進(jìn)式地提高，直至暮年会油。
我對(duì)神經(jīng)網(wǎng)絡(luò)的信仰是基于我的直覺(jué)个粱，即如果大自然解決了這些問(wèn)題，我們也應(yīng)該能夠從大自然中學(xué)習(xí)到同樣的解決方法翻翩。而我不得不耐心等待的這25年都许，與自然界的數(shù)億年相比，它僅僅只是一個(gè)瞬間体斩。
第一條暗示是梭稚，我們的大腦是強(qiáng)大的模式識(shí)別器；第二條暗示是絮吵，我們的大腦可以通過(guò)練習(xí)來(lái)學(xué)會(huì)如何執(zhí)行若干艱巨的任務(wù)弧烤，比如彈鋼琴、掌握物理學(xué)知識(shí)蹬敲。大自然使用通用的學(xué)習(xí)方法來(lái)解決特殊的問(wèn)題暇昂，而人類(lèi)則是頂尖的學(xué)習(xí)者。這是我們的特殊能力伴嗡。我們大腦皮層的結(jié)構(gòu)整體上是相似的急波，并且我們所有的感受系統(tǒng)和運(yùn)動(dòng)系統(tǒng)都有深度學(xué)習(xí)網(wǎng)絡(luò)；第三條暗示是瘪校，我們的大腦并沒(méi)有充斥著邏輯或規(guī)則澄暮。第四條暗示是，我們的大腦充滿(mǎn)了數(shù)百億個(gè)小小的神經(jīng)元阱扬，每時(shí)每刻都在互相傳遞信息
推理似乎是基于特定領(lǐng)域的泣懊，我們對(duì)該領(lǐng)域越熟悉，就越容易解決其中的問(wèn)題麻惶。經(jīng)驗(yàn)使得在一個(gè)領(lǐng)域內(nèi)進(jìn)行推理變得更容易馍刮，因?yàn)槲覀兛梢杂靡延械睦觼?lái)下意識(shí)地得到解決方案
權(quán)重是對(duì)每一次輸入對(duì)輸出單元做出的最終決定所產(chǎn)生影響的度量，但是我們?nèi)绾握业揭唤M可以將輸入進(jìn)行正確分類(lèi)的權(quán)重呢窃蹋？工程師解決這個(gè)問(wèn)題的傳統(tǒng)方法卡啰，是根據(jù)分析或特定程序來(lái)手動(dòng)設(shè)定權(quán)重。這需要耗費(fèi)大量人力警没，而且往往依賴(lài)于直覺(jué)和工程方法匈辱。另一種方法則是使用一種從樣本中學(xué)習(xí)的自動(dòng)過(guò)程，和我們認(rèn)識(shí)世界上的對(duì)象的方法一樣杀迹。需要很多樣本來(lái)訓(xùn)練感知器梅誓，包括不屬于該類(lèi)別的反面樣本，特別是和目標(biāo)特征相似的，例如梗掰，如果識(shí)別目標(biāo)是貓，那么狗就是一個(gè)相似的反面樣本嗅回。
杰弗里堅(jiān)信及穗，將由簡(jiǎn)單處理單元構(gòu)成的網(wǎng)絡(luò)、并行工作和從樣本中學(xué)習(xí)相結(jié)合绵载，是理解認(rèn)知的更好的方式埂陆。
神經(jīng)元的功能不僅僅取決于它如何對(duì)輸入做出反應(yīng)，而且還取決于它通過(guò)自身的“投射域”激活的下游神經(jīng)元娃豹。一個(gè)神經(jīng)元的輸出一直以來(lái)都比它的輸入更難確定焚虱，但新的遺傳學(xué)和解剖學(xué)技術(shù)使得精確追蹤下游的軸突投射成為可能。
大腦后部的視覺(jué)區(qū)域和其他感官流的層級(jí)結(jié)構(gòu)最先發(fā)育成熟懂版，靠近大腦前部的皮層區(qū)域則需要更長(zhǎng)的時(shí)間鹃栽。前額葉皮層，也就是最靠近大腦前端的部分躯畴，直到成年早期才可能完全發(fā)育成熟民鼓。在關(guān)鍵期，皮層區(qū)域的連接接受神經(jīng)活動(dòng)影響最大蓬抄，這些層疊的關(guān)鍵時(shí)期導(dǎo)致了皮層的逐漸發(fā)育丰嘉。
當(dāng)神經(jīng)元之間突觸的形成在早期發(fā)育過(guò)程中迅速增加時(shí)，神經(jīng)元內(nèi)部的DNA在誕生后通過(guò)一種甲基化的形式進(jìn)行表觀遺傳修飾嚷缭，這種甲基化調(diào)節(jié)基因的表達(dá)是大腦所獨(dú)有的饮亏。
優(yōu)化（Optimization）是機(jī)器學(xué)習(xí)中一個(gè)關(guān)鍵的數(shù)學(xué)概念：對(duì)于許多問(wèn)題，可以找到一個(gè)代價(jià)函數(shù)（cost function）阅爽，而問(wèn)題的解決方案就是代價(jià)最低時(shí)的系統(tǒng)狀態(tài)
反向傳播網(wǎng)絡(luò)的輸入是被傳播的前饋：在該圖中路幸，左側(cè)的輸入通過(guò)連接（箭頭）向前傳播到隱藏的單元層，然后投影到輸出層优床。輸出結(jié)果與訓(xùn)練者給出的值進(jìn)行比較劝赔，差值被用來(lái)更新連接輸出單元的權(quán)重，以減少誤差胆敞。然后着帽，根據(jù)每個(gè)權(quán)重對(duì)誤差貢獻(xiàn)的多少，通過(guò)反向傳播誤差對(duì)輸入單元和隱藏層之間的權(quán)重進(jìn)行更新移层。利用大量樣本進(jìn)行訓(xùn)練仍翰，隱藏單元生成了可區(qū)分不同輸入模式的選擇性特征，這樣一來(lái)它們就能夠在輸出層中對(duì)不同類(lèi)別進(jìn)行區(qū)分观话。這一過(guò)程被稱(chēng)為“表征學(xué)習(xí)”
日更：190/365（2019—4—12）
坐享：5分鐘（97/365）
正在閱讀：深度學(xué)習(xí)
想要改變的戰(zhàn)友予借，不妨一起制定一個(gè)計(jì)劃，一年之后看最終你有多少變化，我自己開(kāi)了一個(gè)微信公眾號(hào)(丁昆朋YKPD),微信號(hào):yuekunpengding 喜歡寫(xiě)作灵迫、英語(yǔ)秦叛、編程、區(qū)塊鏈的朋友可以關(guān)注一下瀑粥，共同成長(zhǎng)挣跋。
