第一節(jié)課:智能模型
一憨琳、什么是智能锰蓬?
從自然或人工環(huán)境中感知和解析信息,提煉只是并運用與自適應行為的能力赋咽。
實現人工智能
?? ?基石假設一
人類的思考過程可以機械化
How旧噪?》》》形式推理
形式推理:從真實前提推出真實結論的形式
? ? 基石假設二
機械化的思考可以用工程化實現
(信息論&控制論)
神經學家發(fā)現大腦是后神經元組成的電子網絡,其激勵電平只存在“有”和“無”兩種狀態(tài)
現代二進制計算機
皮茨-麥卡洛人工神經元網絡
最后一個疑問
如何判斷機器擁有智能冬耿?
(圖靈測試)
達特茅斯會議
學習或者智能的任何其他特征的每一個方面都應能被精確地加以描述舌菜,使得機器可以對其進行模擬。
第一個浪潮:黃金時代
搜索式推理:邏輯理論家
自然語言:STUDENT
人工神經元:感知器
(人們總是低估短期內的困難)
人工智能嚴冬(1874-1980)
模型局限
算法局限
難題之一:
計算復雜度呈指數爆炸(問題難度和計算難度)
難題二
機器缺乏常識(比如聊天過程中的語氣亦镶,表達方式)
難題三
莫拉維克悖論(比如模擬人踢足球)
難題四
復雜問題建模困難
回歸現實日月,回歸邏輯基礎
從邏輯進行形式推理
第二次浪潮(1980-1987)
專家系統(tǒng):通往實在之路
規(guī)避XOR難題:反向傳播算法
再次入冬:計算成本太高
I如何飛翔?
圍繞AI的一系列重要思考:目標缤骨?假設爱咬?評估?
問題:
(人類科學和智能&自然演化(生物學)绊起,花了很多年做出了飛機精拟,但是還是遠遠達不到自然演化成鳥的狀態(tài))
(人類研究這么多年人工智能,依然創(chuàng)造不出人虱歪,創(chuàng)造不出能踢足球的人)
人工智能是仿生蜂绎,還是工程?
偽仿生工程(達芬奇之鳥)
原理不清,技術復雜笋鄙,難以分析师枣,制造
噴漆飛機
數學模型(簡單但清晰,便于優(yōu)化)
計算引擎(充分利用人類工程的成就萧落,便于升級)
?? ???問題:
是完全仿生践美,還是基于目標設計解決問題的機器?
第三次復興:機器學習
第二節(jié)課:機器學習
為什么是現在找岖??
數據優(yōu)勢:網絡效應
因為網絡效應陨倡,導致收集數據和產生數據都有大量規(guī)模,機器學習的資源及其豐富
軟件優(yōu)勢:算法提升
基礎算法有大量突破:深度學習许布,優(yōu)化算法兴革,統(tǒng)計推理算法等
硬件優(yōu)勢:計算能力
摩爾定律
機械狗可以自己學習,調整運動狀態(tài)蜜唾,學習運動
但是目前基礎算法背后的邏輯究竟是什么帖旨,還是沒有搞清楚。
(問題:算法被搗鼓出來了灵妨,但是究竟怎么算的人還是不知道解阅?)
然而,背后的理論范式沒有突破
及其學習只是戰(zhàn)術勝利泌霍?
還是我們戰(zhàn)略目標一開始就有問題货抄?
難道述召?
AI的最初理想失敗了(創(chuàng)造出人,或者強于人的物種)
AI的現實應用成功了(靠譜的蟹地,有用的积暖,可用的應用型AI)(解決具體問題,幫助人提高效率怪与,處理人處理不了的問題)
什么是學習夺刑?
將主體對環(huán)境的認知和反饋模式的程序化
(可以被固化,可以增長分别,可以被描述遍愿,可以傳授給另外一個人)
人類學習什么?
對環(huán)境中變化進行預測的規(guī)則
對環(huán)境變化中進行操縱的方法
公司規(guī)章
制造流程
自然法則
價值觀
學習》》《《推理
(學習和推理是相互作用的)
(人的行為分行為和動機耘斩,行為好理解沼填,動機不好理解)
人類如何學習?
思維模型+刻意練習
什么是機器學習括授?
機器學習的關注點在于:如何建立一個能夠自動提升體驗的計算系統(tǒng)坞笙,以及什么是學習過程的基本法則。
機器學習過程:《P荚虚、T薛夜、E》
性能
任務
體驗
機器如何學習
模型+數據+算法+設備
機器學習的流程
【圖,三角循環(huán)】
環(huán)境》感知》決策》環(huán)境》感知》決策》
決策》環(huán)境:驗證/實踐
環(huán)境》感知:取樣/反饋
感知》決策:建模/判斷
感知:理解樣本》用模型描述樣本》用數據訓練逼近目標函數
理解樣本:樣本長啥樣版述,大量樣本輸入(比如看??)
用模型描述樣本:根據樣本的共性却邓,建立一個模型,用來識別樣本院水。
用數據訓練逼近目標函數:把樣本輸入到模型中,根據模型識別樣本简十,
感知的本質:用模型逼近現實
然后用現實訓練模型
決策=“決”策
對or錯檬某、好or壞、是or否
決策的本質是劃清邊界
對丨錯螟蝙、好丨壞恢恼、是丨否
(增加判斷維度,不好區(qū)分的東西胰默,可能就更好區(qū)分了(比如如何區(qū)分南北方人场斑,體型不好區(qū)分,加上口音可能就好區(qū)分了))
(聽課有主干內容和舉例牵署,舉例是幫助理解主干內容的漏隐,要抓住主干內容,自己思考例子)
機器學習的自反饋循環(huán)
決策》感知:驗證/實踐
?? ?機器學習的模式:
監(jiān)督學習奴迅、無監(jiān)督學習青责、半監(jiān)督學習、強化學習、遷移學習
有監(jiān)督學習:告訴機器對錯脖隶,給機器足夠多的例子
無監(jiān)督學習:不告訴你對錯和標準扁耐,機器自動聚類,找到有共同特征的例子产阱。(比如今日頭條打閱讀標簽婉称,比如通過監(jiān)控系統(tǒng)找到小偷,比如金融反欺詐)
半監(jiān)督學習:告訴你部分對錯构蹬,給部分例子王暗,其他機器學習,機器歸類
強化學習:機器主動詢問例子怎燥,詢問標準瘫筐,詢問對錯。對于機器不懂的例子铐姚,主動尋求外界幫助策肝,尋求外部給予判斷標準。主動去找隐绵,去更多地方找之众,找更多東西(探索VS利用;行動VS反應)
遷移學習:算法復用依许。通過以前學習的模型棺禾,將模型特征,遷移到其他事情上峭跳。
?? ?怎樣實現機器學習呢膘婶?
符號方法
連接學派方法
進化學派方法
貝葉斯學派方法
類推學派方法
【圖,刑波老師對人工智能算法的分類】
(先把知識結構化蛀醉,然后需要啥的時候就去哪里找悬襟,結構化類似你的書架,或者武器庫拯刁。例子:)
神經元
生物神經元(有突觸脊岳,可以和不同神經元連接,接受其他神經元的輸入垛玻,接受輸入之后割捅,會對輸入做判斷并做出反應,然后再輸出到其他神經元帚桩。)
人工神經元(感知機)
神經網絡亿驾,多個生物神經元連接的網絡
問題:啥是生物神經元,細致了解一下
神經網絡模型:自適應的函數(60年代)
【圖】
(??算法的研究是通過人物生物的理解账嚎,通過數學公式的模仿)
神經網絡2.0:卷積神經網絡
將每次輸入有部分重疊颊乘,這一層輸入會包含上一層的部分輸入参淹,會是計算更精準,但計算量也更大了乏悄。(對神經網絡算法進行了優(yōu)化和精加工)
一邊接受輸入浙值,一邊處理輸入
接受輸入的時候,把輸入的前因后果全部計算檩小,且計算更多未輸入的情況
激勵函數:調節(jié)激活的程度
損失函數:判斷函數收斂
合起來:深度神經網絡
(算法是各種不同函數和算法的多次組合开呐,各種函數可能在各環(huán)節(jié)多次利用,其中不同函數也有不同的權重(函數就像樂高的基本元素规求,組合成算法筐付,算法中也包含算法))
深度學習:more is better?
隱含層里有什么阻肿?特征學習
直接從中間層瓦戚,用更概括的表征機型學習
(人臉識別:拆分層級看,第一層是一些基本的顏色丛塌,表皮较解;第二層是眼睛,鼻子特征赴邻;第三層是連印衔。初級特征,中級特征姥敛,高級特征奸焙。其實也是拆解到最基本邏輯單元,然后判斷彤敛,歸類与帆,組合)
深度學習工具箱
符號化學派vs經驗化學派
(讓函數和算法自動組合,讓不懂函數不太懂算法的人就能用算法進行深度學習)
從數據流圖角度看神經網絡
反向遞歸算法(算梯度)
一個自動微分計算機梯度的程序
從向前數據流圖中自動退到出梯度流圖
??找到算法的流程(在哪用了啥函數墨榄,權重是啥)
存在的問題:在更多梯度的情況下玄糟,無法窮盡算法的邏輯
(比如在坑特別多的地方,你沒辦法用一次的計算算出所有坑的長啥樣渠概,但不耽誤用)
深度學習真的是萬能的?
魔鬼在細節(jié)中
雖然深度學習計算結果看起來是好的嫂拴,但中間函數的計算邏輯播揪、權重是否真的完全合理?說不好筒狠≈肀罚或者說不能完全理解里面每個函數和權重,因為里面的算法路徑是無法窮盡的辩恼。
逆向制造不包含對原理的了解雇庙,只有突然出問題了谓形,你無法找到原因。
(特斯拉事故:如果突然出現一個圖片系統(tǒng)無法識別疆前,造成錯誤的判斷寒跳,導致后果,你無法找到原因竹椒,也不知道為啥這個圖片識別不了童太,不知道為啥針對這個無法識別的圖像,做出了這樣的判斷)
(比如一個小孩子40歲做了總裁胸完,你怎么確認是因為他小時候被培養(yǎng)了哪些素質導致最后成了總裁书释?無法確認。每個事情都可能拿來解釋赊窥,但都無法確認)
(所以問頭條的人爆惧,文章如何打標簽,如何推薦锨能,誰也不知道)
因果關系無法解釋
“表現的分”的黑箱
并不能直接反應:邊界的正確性扯再、模型的可用性、隨機性帶來的方差
深度學習目前更像是煉金術腹侣,不像現代化學叔收。
歸回基礎理論:從煉金術師變成化學家
(穩(wěn)定的預期,理解其中的規(guī)則)
(臥槽傲隶,化學太牛逼了饺律,把一個個東西歸結成基礎元素, 試驗出其本質和與其他單元的反應跺株,牛逼牛逼)
真正機器學習專家眼里的世界
【圖复濒,書架】
反例:過擬合
過渡訓練,對于某種情況模型計算太準了乒省,這個模型就無法復制了(復制到類似或者可延展的環(huán)境下)巧颈。在遇到新的情況的時候,可能會出現極端判斷的情況袖扛。
【圖砸泛,過擬合】
機器學習的范式:現代基石與形式
概率,統(tǒng)計和測度論
再生核希爾伯特空間蛆封,表示定律
信息論
因為現在深度學習過于完備唇礁,導致研究人員過于依賴,對底層知識沒有認知惨篱,可能無法突破深度學習的邊界
機器學習的范式:技巧
過擬合:
對其他事情也一樣盏筐,對現有模型模式過于依賴,底層知識不了解砸讳,可能很難突破其邊界琢融,產生創(chuàng)新界牡。
總結:什么是機器學習
理論和計算系統(tǒng)
針對復雜現實世界的數據,使用系統(tǒng)對數據的感知
【圖漾抬,很重要】
多樣的機器學習模式【圖】
多樣的模型和算法工具【圖】
人工智能技術要素【圖】
一個龐大的系統(tǒng)
從數據>任務》模型》算法》實現(團建)》系統(tǒng)》設備(硬件)
什么是好系統(tǒng)
集成數學框架
可以被全面的分析和表征
能借用人類的先驗知識
能很好的泛化宿亡,并適應各種數據和領域
能自助,自動的運行
能被人類理解奋蔚,感知她混,解釋,重復
越學習發(fā)現自己越無知
越學習也越興奮泊碑,發(fā)現世界真好玩
如何實現好的機器學習坤按?
問題:人工智能嫩否替代人類
人工智能目前只能處理有明確規(guī)則定義,有邊界的問題
人類的情感馒过,人類面對不同問題時候的復雜思想臭脓,考慮背景做出的選擇,人工智能目前很難模擬腹忽。
問題:生物計算機如何實現人工智能来累,人工智能的邊界
生物計算機和量子計算機還在研發(fā)階段,還未完全實現窘奏,是否可編程不知道
假設已經實現嘹锁,且可編程。對計算速度和計算量可能會出現指數及提升着裹。這只能解決計算量問題
目標定義领猾,價值判斷,任務界定骇扇。這是對人工智能更大的考驗摔竿。
這些問題無法通過算力的加強來解決
人能提出問題,發(fā)現問題少孝,對問題進行反問继低,提出問題是如何產生的,這還不知道稍走。
問題:目前的人工智能袁翁,是否能制造人
為什么做AI的人一定要把制造人把人擊敗當做目標?
很多基本的問題還沒解決婿脸,想這個干啥粱胜?(預測地震?航空盖淡?)
超過人年柠?還需要很多階段的提升
問題:
人類的先驗知識凿歼,和深度學習的結合進展如何褪迟?
對于深度學習的可解釋性冗恨,有啥突破?
目前進展都比較小味赃,
現在可用深度學習解決的問題比較多掀抹,做解釋性問題的人現在比較少
因果關系還是不可解釋
對于人類先驗知識的利用
整合人類知識和建模中間有很大技術鴻溝,人類知識的歸類和數據驅使的建模方法暫時不太好聯結心俗。
問題:投資人工智能或創(chuàng)業(yè)傲武,選擇什么比較好
1、人:
創(chuàng)業(yè)團隊是否得到了合適的訓練城榛,這很重要揪利。這決定了是否能做成吹出的牛逼
如何求證團隊的技術能力?
2狠持、經濟:
有些東西就是一門技術疟位,無法形成規(guī)模,就無法產生價值(阿爾法狗只是一門技術喘垂,無法產生價值)
今日頭條的算法甜刻,是有經濟價值的
要做有經濟價值的事情
問題:生物工程加強人的能力