[機(jī)器學(xué)習(xí)有不同的學(xué)派卤妒,每個學(xué)派從不同的角度看問題甥绿。
1 符號學(xué)派(symbolists) 更多關(guān)注哲學(xué),邏輯學(xué)和心理學(xué)则披, 并將學(xué)習(xí)視為逆向演繹 共缕。使用符號、規(guī)則和邏輯來表征知識和進(jìn)行邏輯推理主要是基于規(guī)則的士复, 算法如 :決策樹图谷。
2 聯(lián)結(jié)學(xué)派(connectionists)專注物理學(xué)和神經(jīng)科學(xué)翩活,并相信大腦的逆向工程。使用概率矩陣和加權(quán)神經(jīng)元來動態(tài)地識別和歸納模式便贵,算法如 :神經(jīng)網(wǎng)絡(luò) 菠镇。
3 進(jìn)化學(xué)派,在遺傳學(xué)和進(jìn)化生物學(xué)的基礎(chǔ)上得出結(jié)論承璃。生成變化利耍,然后為特定目標(biāo)獲取其中最優(yōu)的, 算法如 :遺傳算法 盔粹。
4? 貝葉斯學(xué)派(Bayesians)注重統(tǒng)計(jì)學(xué)和概率推理隘梨。 獲取發(fā)生的可能性來進(jìn)行概率推理,算法如 :樸素貝葉斯舷嗡,馬爾可夫轴猎。
5? 類推學(xué)派(analogizers)更多是關(guān)注心理學(xué)和數(shù)學(xué)優(yōu)化來推斷相似性判斷。 根據(jù)約束條件來優(yōu)化函數(shù)进萄,算法如:支持向量機(jī)SVM捻脖。
演化的階段
1980 年代? ?? ? ? ? ? ? ? ? ? ?主導(dǎo)流派:符號主義
1990 年代到 2000 年? ? 主導(dǎo)流派:貝葉斯
2010 年代早期到中期?? 主導(dǎo)流派:聯(lián)結(jié)主義
2010 年代末期? ? 主導(dǎo)流派:聯(lián)結(jié)主義+符號主義
2020 年代+??? ? ? ?主導(dǎo)流派:聯(lián)結(jié)主義+符號主義+貝葉斯+……
2040 年代+? ? ? ?? 主導(dǎo)流派:算法融合?
聯(lián)結(jié)學(xué)派(The connectionists)
聯(lián)結(jié)學(xué)派的主要思想是通過神經(jīng)元之間的連接來推導(dǎo)知識。聯(lián)結(jié)學(xué)派聚焦于物理學(xué)和神經(jīng)科學(xué)垮斯,并相信大腦的逆向工程(reverse engineering)郎仆。他們相信用反向傳播算法或“向后傳播錯誤”的算法來訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)以獲取結(jié)果。
多倫多大學(xué)的 Geoff Hinton 是機(jī)器學(xué)習(xí)領(lǐng)域的頂尖研究者之一兜蠕。Hinton 積極與谷歌合作,也是推動“深度學(xué)習(xí)”模式的人物抛寝。深度學(xué)習(xí)在許多不同領(lǐng)域徹底變革了 AI熊杨,如語音識別,圖像描述及生成有意義的句子盗舰。
幾乎所有大科技公司晶府,包括 Facebook,微軟钻趋,谷歌等川陆,都正在使用這種模式來改進(jìn)它們的系統(tǒng)。Navdeep Jaitly 是谷歌大腦團(tuán)隊(duì)的研究科學(xué)家蛮位,他在 Hinton 門下進(jìn)行研究较沪,使用深度學(xué)習(xí)模型超越了 Android 系統(tǒng)中已經(jīng)“精細(xì)調(diào)好”(fine-tuned)的語音識別算法。
Facebook AI Research(FAIR)的主管 Yann LeCun 是這個研究領(lǐng)域的另一位大牛失仁。Yann 也是在 Hinton 門下讀博士學(xué)位尸曼,并致力于深度學(xué)習(xí)領(lǐng)域。
作為蒙特利爾學(xué)習(xí)算法研究所的負(fù)責(zé)人萄焦,Yoshua Bengio 是另一個值得注意的名字控轿,是聯(lián)結(jié)學(xué)派方法的領(lǐng)軍人物。Bengio 致力于組織不同的 AI 相關(guān)活動和會議,包括學(xué)習(xí)研討會茬射。Bengio 和他的學(xué)生 Ian Goodfellow(現(xiàn)在是 OpenAI 的研究員)以及 Aaron Courville 一起合著了著名的深度學(xué)習(xí)教材Deep Learning鹦蠕。
機(jī)器學(xué)習(xí)領(lǐng)域的許多研究者,特別是聯(lián)結(jié)學(xué)派者在抛,認(rèn)為深度學(xué)習(xí)模型是 AI 的所有問題的答案片部,并認(rèn)為它是一個主算法。
符號學(xué)派(The symbolists)
符號學(xué)派的方法基于對問題的“高階”(high-level)解釋霜定。符號主義者更側(cè)重哲學(xué)档悠,邏輯學(xué)和心理學(xué),并把學(xué)習(xí)視為逆向演繹(inverse of deduction)望浩。John Haugeland 在他的著作?Artificial Intelligence: The Very Idea中稱之為“Good Old-Fashioned Artificial Intelligence” (GOFAI)辖所。符號學(xué)派解決問題的方法是使用預(yù)先存在的知識來填補(bǔ)空白。大多數(shù)專家系統(tǒng)使用符號學(xué)派的方法磨德,以 If-Then 的方式解決問題缘回。
卡內(nèi)基梅隆大學(xué)的 Tom Mitchell 是符號學(xué)派的領(lǐng)軍人物之一。Udacity 聯(lián)合創(chuàng)始人典挑,斯坦福大學(xué)教授酥宴,前谷歌副總裁 Sebastian Thrun,以及艾倫人工智能研究所 CEO Oren Etzioni 都是 Tom Mitchell 的學(xué)生您觉。
倫敦帝國理工學(xué)院教授拙寡,Inductive Acquisition of Expert Knowledge的作者 Stephen Muggleton,以及 RuleRequest 的創(chuàng)始人 Ross Quinlan 均是推崇符號學(xué)派機(jī)器學(xué)習(xí)方法的著名研究者琳水。
進(jìn)化學(xué)派(The evolutionaries)
第三個學(xué)派肆糕,是進(jìn)化學(xué)派,他們在遺傳學(xué)和進(jìn)化生物學(xué)的基礎(chǔ)上得出結(jié)論在孝。2015年去世的 John Holland 曾在密歇根大學(xué)任教诚啃,他在將達(dá)爾文的進(jìn)化理論引入計(jì)算機(jī)科學(xué)方面發(fā)揮了非常重要的作用。Holland 是遺傳算法(genetics algorithms)的先驅(qū)私沮,他提出的“遺傳算法的基本定理”被認(rèn)為是這個領(lǐng)域的基礎(chǔ)始赎。
機(jī)器人學(xué),3D打印和生物信息學(xué)領(lǐng)域的許多工作是哥倫比亞大學(xué)創(chuàng)意力學(xué)實(shí)驗(yàn)室主任 Hod Lipson 等進(jìn)化論者進(jìn)行的仔燕。John Koza 是前斯坦福大學(xué)教授造垛,Scientific Games 公司的創(chuàng)始人,也是遺傳算法的另一名先驅(qū)人物涨享。另外筋搏,Serafim 實(shí)驗(yàn)室的創(chuàng)始人,斯坦福大學(xué)計(jì)算機(jī)科學(xué)教授 Serafim Batzoglou 也是計(jì)算機(jī)基因組領(lǐng)域的著名研究者厕隧。
貝葉斯學(xué)派(The Bayesian school of thought)
如果你使用電子郵件超過10年奔脐,應(yīng)該能感覺到垃圾郵件過濾系統(tǒng)的改進(jìn)俄周。這是機(jī)器學(xué)習(xí)中的貝葉斯學(xué)派的功勞。貝葉斯學(xué)派專注于研究概率推理和用貝葉斯定理解決問題髓迎。貝葉斯學(xué)派從一個信念開始峦朗,他們稱之為“先驗(yàn)”(prior)。然后排龄,他們收集一些數(shù)據(jù)波势,并基于該數(shù)據(jù)更新先驗(yàn);得到的結(jié)果他們稱之為“后驗(yàn)”(posterior)橄维。然后尺铣,他們用更多的數(shù)據(jù)來處理后驗(yàn),并使之變成先驗(yàn)争舞。這個過程不斷循環(huán)往復(fù)凛忿,知道得到最終的答案。大多數(shù)垃圾郵件過濾系統(tǒng)是在這種基礎(chǔ)上起作用竞川。
加州大學(xué)洛杉磯分校計(jì)算機(jī)科學(xué)系的 Judea Pearl 是貝葉斯方法的著名研究者之一店溢。微軟 Genomics Group 的負(fù)責(zé)人 David Heckerman 也是著名的貝葉斯方法研究者,他幫助微軟在 Outlook 和 Hotmail 郵件系統(tǒng)中開發(fā)了不同的數(shù)據(jù)挖掘工具和垃圾郵件過濾工具委乌。
加州大學(xué)伯克利分校的 Michael Jordan 也是這一領(lǐng)域的主要研究者床牧。
類推學(xué)派(The analogizers)
機(jī)器學(xué)習(xí)的第五個分支學(xué)派是類推學(xué)派(Analogizers),他們更多地關(guān)注心理學(xué)和數(shù)學(xué)最優(yōu)化遭贸,通過外推來進(jìn)行相似性判斷戈咳。類推學(xué)派遵循“最近鄰”原理進(jìn)行研究。各種電子商務(wù)網(wǎng)站上的產(chǎn)品推薦(例如亞馬遜或 Netflix的電影評級)是類推方法最常見的示例革砸。
印第安納大學(xué)的 Douglas Hofstadter(侯世達(dá))是認(rèn)知科學(xué)中最有名的科學(xué)家除秀。同一領(lǐng)域的另一位知名科學(xué)家是 Vladimir Vapnik,他也是“支持向量機(jī)”的共同發(fā)明者和 Vapnik-Chervonenkis 理論的主要開發(fā)者算利。Facebook 最近聘請 Vapnik 與其他幾位知名研究人員一起加入 Facebook AI 實(shí)驗(yàn)室。此外泳姐,理光創(chuàng)新(Ricoh Innovations)創(chuàng)始人 Peter Hart 也是遵循類推方法的著名學(xué)者效拭,Hart 與人合著了《模式分類》一書。
危機(jī)與問題
所有上述學(xué)派解決不同的問題胖秒,提出了不同的解決方案缎患。而真正的挑戰(zhàn)是設(shè)計(jì)一個算法,解決這些方法嘗試要解決的所有不同的問題——單一的一個“終極算法”阎肝。
我們?nèi)匀惶幵跈C(jī)器學(xué)習(xí)和 AI 的早期挤渔,還有很多事情要做。我們不知道什么時候风题,哪里會出現(xiàn)問題判导,而這將會減緩整個發(fā)展進(jìn)程嫉父,帶來下一個“AI冬天”。又或者眼刃,將來會出現(xiàn)一個新的突破绕辖,徹底改變目前的情況。
機(jī)器學(xué)習(xí)的進(jìn)步更像是一場演化擂红。正如微生物的發(fā)展速度遠(yuǎn)比人類更快仪际,機(jī)器學(xué)習(xí)的發(fā)展也比人類快,但會到達(dá)一個階段昵骤,在這個階段上這些學(xué)習(xí)算法會變得太過復(fù)雜而不能快速演化树碱。
也存在其他的危機(jī)。一個“理想的”終極算法將了解有關(guān)我們的一切变秦。雖然機(jī)器學(xué)習(xí)需要人類的輸入作為啟動成榜,但它最終會達(dá)到一個點(diǎn),它會超越人類伴栓。那么接下來會發(fā)生什么呢伦连?只要它們的目標(biāo)和我們的目標(biāo)稍有分歧,可能就足以消滅人類钳垮。
這只是一種情況惑淳。假設(shè)我們成功建立了一個能夠控制這些超級智能的機(jī)制,就類似于螞蟻創(chuàng)造了一個能夠控制我們?nèi)祟惖臋C(jī)制饺窿。但是歧焦,國家,人們和團(tuán)體之間存在的利益沖突肚医,可能會引發(fā)類似“天網(wǎng)”(終結(jié)者)的戰(zhàn)爭绢馍。
機(jī)器學(xué)習(xí)如何改變世界?
有許多初創(chuàng)公司專注于機(jī)器學(xué)習(xí)及其為生活中的不同問題帶來的解決方案肠套;而且舰涌,更重要的是,有大型科技公司支持他們你稚。例如瓷耙,谷歌收購的 DeepMind 專注于醫(yī)療保健,利用機(jī)器學(xué)習(xí)研究癌癥的治療刁赖;Facebook 的 Chan Zuckerberg Initiative 宣布計(jì)劃在未來十年投資30億美元搁痛,以幫助治療、預(yù)防和管控疾病宇弛。
另外鸡典,世界上最大的一些科技公司,包括亞馬遜枪芒,F(xiàn)acebook彻况,谷歌谁尸,微軟等形成了聯(lián)盟“Partnership on AI”,以共享他們的大型數(shù)據(jù)庫進(jìn)行研究疗垛,推廣好的實(shí)踐症汹。
AI 是否將技術(shù)的發(fā)展引向了一條危險的路徑?我們將要成為機(jī)器的奴隸贷腕,又或 AI 是將人類引向終極的進(jìn)步的入口背镇?
任何希望了解 AI 和機(jī)器學(xué)習(xí)的人士都應(yīng)該閱讀一下 Pedro Domingos 的《終極算法》一書。最后泽裳,讓我們借用此書序言里的一句話作為本文的結(jié)語:圍繞大數(shù)據(jù)以及機(jī)器學(xué)習(xí)的討論充滿爭議瞒斩,如果你對此感到好奇,且懷疑有比論文上看到的更為深層次的東西涮总,那么這本書就是你進(jìn)行革命的指南胸囱。
參考
原文地址:https://techcrunch.com/2017/01/30/is-a-master-algorithm-the-solution-to-our-machine-learning-problems/