原文：The 10 Algorithms Machine Learning Engineers Need to Know
毫無(wú)疑問(wèn)锨苏，近些年機(jī)器學(xué)習(xí)和人工智能領(lǐng)域受到了越來(lái)越多的關(guān)注条舔。隨著大數(shù)據(jù)成為當(dāng)下工業(yè)界最火爆的技術(shù)趨勢(shì)翁巍，機(jī)器學(xué)習(xí)也借助大數(shù)據(jù)在預(yù)測(cè)和推薦方面取得了驚人的成績(jī)秦陋。比較有名的機(jī)器學(xué)習(xí)案例包括Netflix根據(jù)用戶歷史瀏覽行為給用戶推薦電影摔踱，亞馬遜基于用戶的歷史購(gòu)買行為來(lái)推薦圖書(shū)蔗包。
那么句各，如果你想要學(xué)習(xí)機(jī)器學(xué)習(xí)的算法，該如何入門呢授嘀？就我而言物咳，我的入門課程是在哥本哈根留學(xué)時(shí)選修的人工智能課程锣险。老師是丹麥科技大學(xué)應(yīng)用數(shù)學(xué)和計(jì)算機(jī)專業(yè)的全職教授蹄皱，他的研究方向是邏輯學(xué)和人工智能览闰，主要是用邏輯學(xué)的方法來(lái)建模。課程包括了理論/核心概念的探討和動(dòng)手實(shí)踐兩個(gè)部分巷折。我們使用的教材是人工智能的經(jīng)典書(shū)籍之一：Peter Norvig教授的《人工智能——一種現(xiàn)代方法》压鉴，課程涉及到了智能代理、基于搜索的求解锻拘、對(duì)抗搜索油吭、概率論、多代理系統(tǒng)署拟、社交化人工智能婉宰，以及人工智能的倫理和未來(lái)等話題。在課程的后期推穷，我們?nèi)齻€(gè)人還組隊(duì)做了編程項(xiàng)目心包，實(shí)現(xiàn)了基于搜索的簡(jiǎn)單算法來(lái)解決虛擬環(huán)境下的交通運(yùn)輸任務(wù)
我從課程中學(xué)到了非常多的知識(shí)，并且打算在這個(gè)專題里繼續(xù)深入學(xué)習(xí)馒铃。在過(guò)去幾周內(nèi)蟹腾，我參與了舊金山地區(qū)的多場(chǎng)深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)架構(gòu)的演講 —— 還有一場(chǎng)眾多知名教授云集的機(jī)器學(xué)習(xí)會(huì)議区宇。最重要的是娃殖，我在六月初注冊(cè)了Udacity的《機(jī)器學(xué)習(xí)導(dǎo)論》在線課程，并且在幾天前學(xué)完了課程內(nèi)容议谷。在本文中炉爆，我想分享幾個(gè)我從課程中學(xué)到的常用機(jī)器學(xué)習(xí)算法。
機(jī)器學(xué)習(xí)算法通澄韵可以被分為三大類 —— 監(jiān)督式學(xué)習(xí)叶洞，非監(jiān)督式學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。監(jiān)督式學(xué)習(xí)主要用于一部分?jǐn)?shù)據(jù)集（訓(xùn)練數(shù)據(jù)）有某些可以獲取的熟悉（標(biāo)簽）禀崖，但剩余的樣本缺失并且需要預(yù)測(cè)的場(chǎng)景衩辟。非監(jiān)督式學(xué)習(xí)主要用于從未標(biāo)注數(shù)據(jù)集中挖掘相互之間的隱含關(guān)系。強(qiáng)化學(xué)習(xí)介于兩者之間 —— 每一步預(yù)測(cè)或者行為都或多或少有一些反饋信息波附，但是卻沒(méi)有準(zhǔn)確的標(biāo)簽或者錯(cuò)誤提示艺晴。由于這是入門級(jí)的課程，并沒(méi)有提及強(qiáng)化學(xué)習(xí)掸屡，但我希望監(jiān)督式學(xué)習(xí)和非監(jiān)督式學(xué)習(xí)的十個(gè)算法足夠吊起你的胃口了封寞。
監(jiān)督式學(xué)習(xí)
1.決策樹(shù)
決策樹(shù)是一種決策支持工具，它使用樹(shù)狀圖或者樹(shù)狀模型來(lái)表示決策過(guò)程以及后續(xù)得到的結(jié)果仅财，包括概率事件結(jié)果等狈究。請(qǐng)觀察下圖來(lái)理解決策樹(shù)的結(jié)構(gòu)。
從商業(yè)決策的角度來(lái)看盏求，決策樹(shù)就是通過(guò)盡可能少的是非判斷問(wèn)題來(lái)預(yù)測(cè)決策正確的概率抖锥。這種方法可以幫你用一種結(jié)構(gòu)性的亿眠、系統(tǒng)性的方法來(lái)得出合理的結(jié)論。
2.樸素貝葉斯分類器
樸素貝葉斯分類器是一類基于貝葉斯理論的簡(jiǎn)單的概率分類器磅废，它假設(shè)特征之前是相互獨(dú)立的纳像。下圖所示的就是公式 —— P(A|B)表示后驗(yàn)概率，P(B|A)是似然值拯勉，P(A)是類別的先驗(yàn)概率竟趾，P(B)代表預(yù)測(cè)器的先驗(yàn)概率。
現(xiàn)實(shí)場(chǎng)景中的一些例子包括：
- 檢測(cè)垃圾電子郵件
- 將新聞分為科技宫峦、政治岔帽、體育等類別
- 判斷一段文字表達(dá)積極的情緒還是消極的情緒
- 用于人臉檢測(cè)軟件
3.最小平方回歸
如果你學(xué)過(guò)統(tǒng)計(jì)課程，也許聽(tīng)說(shuō)過(guò)線性回歸的概念导绷。最小 平方回歸是求線性回歸的一種方法山卦。你可以把線性回歸想成是用一條直線擬合若干個(gè)點(diǎn)。擬合的方法有許多種诵次，“最小 平方”的策略相當(dāng)于你畫(huà)一條直線账蓉，然后計(jì)算每個(gè)點(diǎn)到直線的垂直距離，最后把各個(gè)距離求和逾一；最佳擬合的直線就是距離和最小的那一條铸本。
線性指的是用于擬合數(shù)據(jù)的模型，而最小 平方指的是待優(yōu)化的損失函數(shù)遵堵。
4.邏輯回歸
邏輯回歸模型是一種強(qiáng)大的統(tǒng)計(jì)建模方式箱玷，它用一個(gè)或多個(gè)解釋性變量對(duì)二值輸出結(jié)果建模。它用邏輯斯蒂函數(shù)估計(jì)概率值陌宿，以此衡量分類依賴變量和一個(gè)或多個(gè)獨(dú)立的變量之間的關(guān)系锡足，這屬于累積的邏輯斯蒂分布。
通常來(lái)說(shuō)壳坪，邏輯回歸模型在現(xiàn)實(shí)場(chǎng)景中的應(yīng)用包括：
- 信用評(píng)分
- 預(yù)測(cè)商業(yè)活動(dòng)的成功概率
- 預(yù)測(cè)某款產(chǎn)品的收益
- 預(yù)測(cè)某一天發(fā)生地震的概率
5.支持向量機(jī)
支持向量機(jī)是一種二分類算法舶得。在N維空間中給定兩類點(diǎn)，支持向量機(jī)生成一個(gè)（N-1）維的超平面將這些點(diǎn)分為兩類爽蝴。舉個(gè)例子沐批，比如在紙上有兩類線性可分的點(diǎn)。支持向量機(jī)會(huì)尋找一條直線將這兩類點(diǎn)區(qū)分開(kāi)來(lái)蝎亚，并且與這些點(diǎn)的距離都盡可能遠(yuǎn)九孩。
利用支持向量機(jī)（結(jié)合具體應(yīng)用場(chǎng)景做了改進(jìn)）解決的大規(guī)模問(wèn)題包括展示廣告、人體結(jié)合部位識(shí)別发框、基于圖像的性別檢查躺彬、大規(guī)模圖像分類等……
6.集成方法
集成方法是先構(gòu)建一組分類器，然后用各個(gè)分類器帶權(quán)重的投票來(lái)預(yù)測(cè)新數(shù)據(jù)的算法。最初的集成方法是貝葉斯平均宪拥，但最新的算法包括誤差糾正輸出編碼和提升算法仿野。
那么集成模型的原理是什么，以及它為什么比獨(dú)立模型的效果好呢江解？
- 它們消除了偏置的影響：比如把民主黨的問(wèn)卷和共和黨的問(wèn)卷混合，從中得到的將是一個(gè)不倫不類的偏中立的信息徙歼。
- 它們能減小預(yù)測(cè)的方差：多個(gè)模型聚合后的預(yù)測(cè)結(jié)果比單一模型的預(yù)測(cè)結(jié)果更穩(wěn)定犁河。在金融界，這被稱為是多樣化 —— 多個(gè)股票的-混合產(chǎn)品波動(dòng)總是遠(yuǎn)小于單個(gè)股票的波動(dòng)魄梯。這也解釋了為何增加訓(xùn)練數(shù)據(jù)桨螺，模型的效果會(huì)變得更好。
- 它們不容易產(chǎn)生過(guò)擬合：如果單個(gè)模型不會(huì)產(chǎn)生過(guò)擬合酿秸，那么將每個(gè)模型的預(yù)測(cè)結(jié)果簡(jiǎn)單地組合（取均值灭翔、加權(quán)平均、邏輯回歸）辣苏，沒(méi)有理由產(chǎn)生過(guò)擬合肝箱。
非監(jiān)督學(xué)習(xí)
7.聚類算法
聚類算法的任務(wù)是將一群物體聚成多個(gè)組，分到同一個(gè)組（簇）的物體比其它組的物體更相似稀蟋。
每種聚類算法都各不相同煌张，這里列舉了幾種：
- 基于類心的聚類算法
- 基于連接的聚類算法
- 基于密度的聚類算法
- 概率型算法
- 降維算法
- 神經(jīng)網(wǎng)絡(luò)/深度學(xué)習(xí)
8.主成分分析
主成分分析屬于統(tǒng)計(jì)學(xué)的方法，過(guò)正交變換將一組可能存在相關(guān)性的變量轉(zhuǎn)換為一組線性不相關(guān)的變量退客，轉(zhuǎn)換后的這組變量叫主成分骏融。
主成分分析的一些實(shí)際應(yīng)用包括數(shù)據(jù)壓縮，簡(jiǎn)化數(shù)據(jù)表示萌狂，數(shù)據(jù)可視化等档玻。值得一提的是需要領(lǐng)域知識(shí)來(lái)判斷是否適合使用主成分分析算法。如果數(shù)據(jù)的噪聲太大（即各個(gè)成分的方差都很大）茫藏，就不適合使用主成分分析算法误趴。
9.奇異值分解
奇異值分解是線性代數(shù)中一種重要的矩陣分解，是矩陣分析中正規(guī)矩陣酉對(duì)角化的推廣务傲。對(duì)于給定的m*n矩陣M冤留，可以將其分解為M = UΣV，其中U和V是m×m階酉矩陣树灶，Σ是半正定m×n階對(duì)角矩陣纤怒。
主成分分析其實(shí)就是一種簡(jiǎn)單的奇異值分解算法。在計(jì)算機(jī)視覺(jué)領(lǐng)域中天通，第一例人臉識(shí)別算法使用了主成分分析和奇異值分解將人臉表示為一組“特征臉（eigenfaces）”的線性組合泊窘，經(jīng)過(guò)降維，然后利用簡(jiǎn)單的方法匹配候選人臉。盡管現(xiàn)代的方法更加精細(xì)烘豹，許多技術(shù)還是于此很相似瓜贾。
10.獨(dú)立成分分析
獨(dú)立成分分析是一種利用統(tǒng)計(jì)原理進(jìn)行計(jì)算來(lái)揭示隨機(jī)變量、測(cè)量值或者信號(hào)背后的隱藏因素的方法携悯。獨(dú)立成分分析算法給所觀察到的多變量數(shù)據(jù)定義了一個(gè)生成模型祭芦，通常這些變量是大批量的樣本。在該模型中憔鬼，數(shù)據(jù)變量被假定為一些未知的潛變量的線性混合龟劲，而且混合系統(tǒng)也未知。潛變量被假定是非高斯和相互獨(dú)立的轴或，它們被稱為所觀察到的數(shù)據(jù)的獨(dú)立分量昌跌。
獨(dú)立成分分析與主成分分析有關(guān)聯(lián)，但它是一個(gè)更強(qiáng)大的技術(shù)照雁。它能夠在這些經(jīng)典方法失效時(shí)仍舊找到數(shù)據(jù)源的潛在因素蚕愤。它的應(yīng)用包括數(shù)字圖像、文檔數(shù)據(jù)庫(kù)饺蚊、經(jīng)濟(jì)指標(biāo)和心理測(cè)量萍诱。
如果您喜歡這篇文章，請(qǐng)點(diǎn)擊喜歡污呼；如果想及時(shí)獲得最新的咨詢砂沛，請(qǐng)點(diǎn)擊關(guān)注。您的支持是對(duì)作者都是最大的激勵(lì)曙求，萬(wàn)分感激碍庵！By 孫飛
