理清一個關系，**人工智能 > 機器學習 > 深度學習 > 神經網絡 **
機器學習源自人工智能(Artificial Intelligence)
1956年夏，美國達特茅斯學院，達特茅斯會議標志著人工智能這一學科的誕生
-
第一階段：推理期 1956-1960s: Logic Reasoning
赫伯特?西蒙(1916-2001) 1975年圖靈獎
阿倫?紐厄爾(1927-1992) 1975年圖靈獎
- 出發(fā)點: “數(shù)學家真聰明朱嘴！”
- 主要成就: 自動定理證明系統(tǒng) (例如，西蒙與紐厄爾的“Logic Theorist”系統(tǒng))
漸漸地，研究者們意識到驱显，僅有邏輯推理能力是不夠的 …
-
第二階段：知識期 1970s -1980s: Knowledge Engineering
愛德華?費根鮑姆(1936- ) 1994年圖靈獎
- 出發(fā)點: “知識就是力量！”
- 主要成就: 專家系統(tǒng) (例如瞳抓，費根鮑姆等人的“DENDRAL”系統(tǒng))
漸漸地埃疫，研究者們發(fā)現(xiàn)，要總結出知識再“教”給系統(tǒng)孩哑，實在太難了 …
-
第三階段：學習期 1990s -now: Machine Learning
- 出發(fā)點: “讓系統(tǒng)自己學栓霜！”
- 主要成就: ……機器學習是作為“突破知識工程瓶頸”之利器而出現(xiàn)的
恰好在20世紀90年代中后期，人類發(fā)現(xiàn)自己淹沒在數(shù)據(jù)的汪洋中横蜒，對自動數(shù)據(jù)分析技術——機器學習的需求日益迫切
機器學習有堅實的理論基礎
Leslie Valiant( ( 萊斯利? 維利昂特) )( ( 1949- - ) ) 2010 年 圖靈獎
計算學習理論 Computational learning theory
PAC (Probably Approximately Correct胳蛮，概率近似正確) learning model [Valiant, 1984]
轉自 機器學習：發(fā)展與未來
今天的“機器學習”已經是一個廣袤的學科領域，事實上丛晌，“深度學習”(Deep Learning) 僅是機器學習中的一個小分支仅炊。
多種機器學習技術：
- 深度學習
- 強化學習
- 蒙特卡洛樹搜索
- …
深度學習興起
- 2006年, Hinton發(fā)表了深度學習的 Science 文章。
- 2012年, Hinton 組參加ImageNet 競賽, 使用 CNN 模型以超過第二名10個百分點的成績奪得當年競賽的冠軍澎蛛。
- 伴隨云計算抚垄、大數(shù)據(jù)時代的到來，計算能力的大幅提升，使得深度學習模型在計算機視覺呆馁、自然語言處理桐经、語音識別等眾多領域都取得了較大的成功。
2010年 – 至今 熱潮7年
深度學習最重要的作用：表示學習
深度學習何處適用：數(shù)據(jù)的“初始表示” （例如浙滤，圖像的“像素”）與解決任務所需的“合適表示”相距甚遠
深度學習從技術上來看阴挣，就是“很多層”的神經網絡
神經網絡實質上是多層函數(shù)嵌套形成的數(shù)學模型
深度學習會不會“一統(tǒng)江湖、千秋萬載”纺腊？
一統(tǒng)江湖畔咧？
不會! 很多學習任務，數(shù)據(jù)的“初始表示”與“合適表示”沒那么遠
千秋萬載揖膜？
鑒古知今：讓我們回顧一下神經網絡的發(fā)展歷史
神經網絡發(fā)展回顧
1940年代-萌芽期： M-P模型 (1943), Hebb 學習規(guī)則 (1945)
1958左右-1969左右~繁榮期： 感知機 (1958), Adaline (1960), …
1969年：Minsky & Papert “Perceptrons”
冰河期
1985左右 -1995左右~繁榮期： Hopfield (1983), BP (1986), …
1995年左右：SVM 及 統(tǒng)計學習 興起
沉寂期
2010左右-至今~繁榮期：深度學習
- 1950年代中：現(xiàn)代電子計算機廣泛應用
- 1980年代初：Intel x86系列微處理器與內存條技術廣泛應用
- 2000年代中：GPU盒卸、CPU集群廣泛應用
結論：神經網絡是相對最容易利用新增計算能力的機器學習方法
技術：未來未必是深度學習，但應該是能有效利用GPU等計算設備的方法
傳統(tǒng)機器學習任務：主要針對封閉靜態(tài)環(huán)境 （重要因素大多是“定”的）
- 數(shù)據(jù)分布恒定
- 樣本類別恒定
- 樣本屬性恒定
- 評價目標恒定
機器學習走向實際應用需要解決的共性問題：封閉靜態(tài)環(huán)境 --> 開放動態(tài)環(huán)境 一切都可能“變”
- 分布偏移
- 類別增長
- 屬性退化
- 目標多樣
開放環(huán)境下的機器學習：“魯棒性”是關鍵次氨！（“好的時候”要好蔽介，“壞的時候”不能太壞）
結論：隨著人工智能技術取得巨大發(fā)展，越來越多地面臨“高風險應用”煮寡，因此必須有“魯棒的AI”
任務 ：未來開放環(huán)境學習任務虹蓄，魯棒性是關鍵
現(xiàn)狀：“機器學習”形態(tài)是什么？ 算法 + 數(shù)據(jù)
“機器學習”有哪些技術局限幸撕？
- 需要大量訓練樣本（樣本總量少：油田定位薇组，特定類樣本少：信用卡欺詐，有標記 (label) 樣本少：軟件缺陷檢測 ）
- 難以適應環(huán)境變化（分布變化坐儿、屬性變動律胀、類別增加）
- 黑箱模型（自動醫(yī)療 ：個性化治療方案，若學習器不能給出治療理由貌矿，則難以說服患者接受昂貴的治療方案炭菌。智能電網 ：大型變電站停機檢測，若學習器不能給出停機檢測的理由逛漫，則難以判斷停機檢測的風險和代價）
- Machine Learning as Magic（即便相同 數(shù)據(jù)黑低，普通用戶 很難獲得機器學習專家級性能）
- 數(shù)據(jù)隱私和安全
- ...
Future：學件 (Learnware) = 模型 (model) + 規(guī)約 (specification)
(預訓練的)模型+(描述模型的)規(guī)約
規(guī)約需能夠：給出模型的合適刻畫（基于邏輯、基于統(tǒng)計量酌毡、基于精簡數(shù)據(jù)）
模型需滿足：
- 可重用 (reusable)（學件的預訓練模型僅需利用“少量數(shù)據(jù)”對其進行更新或增強即可用于新任務）
- 可演進 (evolvable)（學件的預訓練模型應具備感知環(huán)境變化克握，并針對變化進行主動自適應調整的能力）
- 可了解 (comprehensible)（學件的模型應在一定程度上能被用戶了解，包括其目標枷踏、學得結果菩暗、資源要求、典型任務上的性能等）
形態(tài) ：未來旭蠕，算法+ 數(shù)據(jù) --> 學件
（周志華 著. 機器學習）個人淺見停团，謹慎參考婴梧，免受誤導
-
深度學習可能有“冬天”
它僅是機器學習中的一種技術；更 “ 潮”的技術總會出現(xiàn) -
機器學習不會有“冬天”
除非我們不再需要分析數(shù)據(jù) - 關于未來
- 技術：能有效利用GPU等計算設備（未必是深度學習）…… 5年?
- 任務：開放環(huán)境機器學習任務（魯棒性是關鍵） …… 10年客蹋？
- 形態(tài)：從“算法+數(shù)據(jù)”到“學件”（Learnware）…… 15年？
