《AI 3.0》讀書筆記1
《AI 3.0》讀書筆記2 序1

序

到底什么是機器學(xué)習(xí)

目前，強大的人工智能依然在練習(xí)認(rèn)識這個世界住诸，認(rèn)識自己的工作驾胆，而其所仰仗的無非是兩樣?xùn)|西——強大的算力（比如神經(jīng)網(wǎng)絡(luò)可以做到上百層，過去只能做到幾層）贱呐、傅立葉分析丧诺。歸根到底，對于世界究竟是什么樣的奄薇，機器自己是沒有任何真實的感知的驳阎，依然需要人的干預(yù)和解釋。

作為控制論創(chuàng)始人的諾伯特·維納曾這樣說：“我們最好非常確信馁蒂，給機器置入的目的正是我們真正想要的目的呵晚。”也就是說沫屡，機器的任何表現(xiàn)都先天地面臨一個重要的束縛饵隙，而這種束縛恰恰來自人，是人在教育機器這個“孩子”谁鳍，是人在給這個“孩子”注入靈魂癞季。

人工智能的“能”與“不能”

• 智能算法打游戲基本都是無監(jiān)督學(xué)習(xí)的過程

  • 挖掘算法潛能、理解算法機理的有效途徑
  • 把游戲規(guī)則灌輸給算法倘潜，剩下的就全看機器自己的“修煉”了

• 事先存儲再多的游戲策略绷柒，在暴力算法面前其實也是不堪一擊的

• 如果機器只會模仿人的經(jīng)驗策略，它就不能獲得獨立應(yīng)對意外局面的能力涮因，機器必須進入更大的對弈空間废睦，這就是強化學(xué)習(xí)的含義。如理查德·薩頓（Richard Sutton）所言养泡，強化學(xué)習(xí)就是“從猜測中學(xué)習(xí)猜測”嗜湃，米歇爾將其調(diào)整為“從更好的猜測中學(xué)習(xí)猜測”。

理查德·薩頓（Richard Sutton）是美國計算機科學(xué)家澜掩，是Deepmind的研究科學(xué)家购披，阿爾伯塔大學(xué)計算機學(xué)教授。薩頓和他的老師安德魯·巴托（Andrew Barto）合著《強化學(xué)習(xí)導(dǎo)論》（Reinforcement Learning, an introduction）肩榕，他的貢獻包括時序差分學(xué)習(xí)和策略梯度方法刚陡，被稱為現(xiàn)代強化學(xué)習(xí)之父。

• 人工智能的核心問題，什么是“更好的猜測”筐乳？

  • 智能機器目前所能做的潜沦，還只是“最快的猜測”撼港，或者說“以快取勝”。
    • 在更大的博弈空間里處理海量的數(shù)據(jù)，表現(xiàn)出令人咋舌的算力水平伯襟，遠(yuǎn)遠(yuǎn)超過人類的計算能力偷线。
    • 這種能力在讓人驚艷的同時幔嗦，也帶有很強的迷惑性谒养，其實這是假象。
    • 如今的人工智能朵你，與真正的人工智能之間依然有巨大的鴻溝各聘。什么是真正的人工智能？業(yè)界對其定義也一直爭論不休抡医，這里暫且不論躲因。
  • 人工智能的核心問題，依然涉及對客體對象忌傻、目標(biāo)過程的認(rèn)識大脉。
    • 真正的人工智能必須有能力認(rèn)識某一對象是什么。
    • 人工智能專家所找到的解決之道水孩，其實還遠(yuǎn)不是“認(rèn)識對象”的解決之道镰矿，而是找到了一個退而求其次的路徑，就是“目標(biāo)函數(shù)”的構(gòu)建俘种。

• 目標(biāo)函數(shù)

  • 蒙眼點鼻子的游戲
    • 不停地提示其偏離的方向秤标，蒙眼人就可以很快地點中鼻子。
  • 機器可以不理解什么是鼻子宙刘，什么是點苍姜，
  • 也不用明白這么做有什么娛樂的價值，
  • 但如果能給出判斷點中與否的目標(biāo)函數(shù)悬包，就可以大大提高機器成功完成任務(wù)的概率衙猪。

• 當(dāng)下的人工智能算法依然停留在工程意義上

  • 還只是以完成任務(wù)為目標(biāo)。
  • 至于做這件事的意義布近，則全然不在機器算法的“視野”之內(nèi)垫释。

• 谷歌的AlphaGo到AlphaGo Zero的演化歷程

  • 第一階段，AlphaGo向人學(xué)習(xí)撑瞧；
  • 第二階段棵譬，AlphaGo Zero自學(xué)成才。
  • 谷歌公司的創(chuàng)見在于：
    • 讓算法可以洞察整個盤面预伺。
    • 為了大大減少計算的負(fù)擔(dān)茫船，并使算法可以獲知距離獲勝還有多遠(yuǎn)琅束，他們使用的是蒙特卡洛方法，只要確保最優(yōu)策略依然在剩下的搜索空間里就好算谈，換句話說，比對手多預(yù)測幾步就有更大的勝算料滥。(還是力大出奇跡階段)

• 從游戲中學(xué)習(xí)套路然眼，人工智能就能超越人類？

  • 亞瑟·塞繆爾（Arthur Samuel）曾樂觀估計葵腹，10年內(nèi)機器必然戰(zhàn)勝人類高每。
  • 今天的機器算法，固然已經(jīng)在棋類博弈中完勝人類棋手践宴，但從智能角度看鲸匿，與那時相比其實并無實質(zhì)性的進步。
    • 無論機器的自學(xué)能力有多強阻肩，有一件事是確定的带欢，即游戲目標(biāo)的存在。
    • 游戲規(guī)則和游戲目標(biāo)作為先驗知識烤惊，給出了這樣一個明確的博弈邊界乔煞，即這一游戲的博弈空間是有窮空間。
    • 算法的唯一目標(biāo)就是贏柒室，不管其對手是人還是另一個機器算法渡贾，也不管對弈雙方是否理解游戲，或者能否欣賞游戲之美雄右，它只追求贏空骚。
    • 棋類游戲博弈中的“贏”，其實隱含一個假設(shè)擂仍，即游戲本身是存在贏的可能性的囤屹，比如在圍棋中，平局防楷、和棋也是“輸贏”的特定形態(tài)牺丙。
    • 就是一個有趣的、有輸贏的游戲設(shè)計复局，其本身先天地規(guī)定了這一靜態(tài)目標(biāo)的成立——零和博弈冲簿。

機器在零和博弈空間里完勝人類這一點，并非凸顯了機器智能超群亿昏，只是進一步驗證了人類的局限性和零和博弈目標(biāo)的有限性

阿瑟·薩繆爾是人工智能研究的先驅(qū)峦剔。 從1949年到1960年代后期，他在讓計算機從經(jīng)驗中學(xué)習(xí)方面做了最出色的工作角钩，而他的研究工具是跳棋游戲吝沫。（玩游戲的程序通常在人工智能研究中扮演果蠅在遺傳學(xué)中所扮演的角色呻澜。果蠅對遺傳學(xué)很方便，因為它們繁殖速度快惨险，飼養(yǎng)成本低羹幸，而游戲?qū)θ斯ぶ悄芎芊奖悖驗楹苋菀讓⒂嬎銠C性能與人的性能進行比較辫愉。）
1952年栅受，阿瑟·薩繆爾在IBM公司工作時研制了一個西洋跳棋程序，這個程序具有“學(xué)習(xí)能力”恭朗，它可以通過對大量棋局的分析逐漸辨識出當(dāng)前局面下的"好棋"和"壞棋'屏镊，從而不斷提高下棋水平。程序很快就下贏了薩繆爾自己痰腮。
1956年而芥，薩繆爾應(yīng)約翰·麥卡錫(John McCarthy, "人工智能之父" )邀請，在達特茅斯會議（1956年夏天膀值，在美國東部的達特茅斯召開的這次學(xué)術(shù)會議上正式提出了“人工智能”這個術(shù)語棍丐。因此這次夏季研討會被學(xué)界認(rèn)為是人工智能學(xué)科誕生的標(biāo)志性會議）上介紹這項工作。薩繆爾發(fā)明了"機器學(xué)習(xí)"這個詞虫腋，將其定義為"在不直接針對問題進行明確編程的情況下骄酗，賦予計算機學(xué)習(xí)能力的研究領(lǐng)域"，他的文章"Some studies in machine learning using the game of checkers" 1959 年在IBM Journal 正式發(fā)表悦冀。
1961年趋翻，愛德華·費根鮑姆(Edward Feigenbaum，"知識工程之父") 正在編寫第一本 AI巨著《計算機與思想》（Computers and Thought）盒蟆，在看到薩繆爾關(guān)于跳棋的精彩論文后踏烙，費根鮑姆邀請薩繆爾提供一個該跳棋程序最好的對弈實例，作為論文的附錄历等。塞繆爾利用這個請求作為挑戰(zhàn)康涅狄格州跳棋冠軍的機會讨惩，他是全國排名第四的棋手。結(jié)果薩繆爾程序獲勝寒屯，在當(dāng)時引起了不少關(guān)注荐捻。
塞繆爾是一個謙虛的人，直到 1966 年他從 IBM 退休后寡夹，他的工作的重要性才得到廣泛認(rèn)可处面。部分原因是他不喜歡宣傳，未能讓他的研究得到更積極的跟進菩掏。
Samuel 于1966 年從 IBM 退休魂角，來到斯坦福大學(xué)擔(dān)任研究教授。在斯坦福大學(xué)智绸，他繼續(xù)研究跳棋野揪，直到他的程序在 1970 年代被超越访忿。

• 人工智能所面臨的最大挑戰(zhàn)

  • 可能在于人們忘記了智能機器的強項依然是算力，錯誤地選擇將今日之人工智能更多地用于人類增強中斯稳，而且將人機聯(lián)合的活動空間海铆，定義為更大的零和博弈游戲場景。
  • 這一挑戰(zhàn)下的另一個場景挣惰，就是人工智能所面臨的一個“硬核”場景：機器翻譯游添。
    • 在20世紀(jì)40年代美國“科技工業(yè)共同體”建設(shè)中扮演重要角色的官方技術(shù)官員沃倫·韋弗博士就提出了機器翻譯的理念
    • 它難在人工智能需要直接面對“理解”這一難題
      • 谷歌和微軟等公司還將翻譯的含義拓展，用智能算法給圖片打標(biāo)簽通熄，試圖解決海量圖片的識別問題。
      • 斯坦福大學(xué)開發(fā)了人工智能閱讀理解項目找都，希望有一天能夠讓機器“讀懂”它所面對的內(nèi)容唇辨。

• GPT-3 狗眼看星星

  • 依然是一種使用蠻力進行計算的模式，僅此而已能耻。
  • 對于目前的自然語言項目赏枚，我可以武斷地說，它們其實毫無“理解”可言晓猛，它們唯一的本領(lǐng)就是“見多識廣”饿幅。
  • 問題在于，雖然一款智能機器可以快速遍歷狀態(tài)空間的更多可能性戒职，把邊邊角角都掃描到栗恩，然后表現(xiàn)出越來越多令人驚訝的本領(lǐng)，甚至超過人類的表現(xiàn)洪燥，但是磕秤，它們依然像是“狗眼看星星”，并不認(rèn)得什么叫“星圖”捧韵。