機(jī)器學(xué)習(xí)是什么

機(jī)器學(xué)習(xí)是什么饺著？實(shí)際上，即使是研究機(jī)器學(xué)習(xí)的專業(yè)人士（如Hinton肠牲，Bengio幼衰，LeCun，Andrew?Ng等）在定義這個(gè)問(wèn)題時(shí)也會(huì)有不同認(rèn)知缀雳，目前還不存在一個(gè)被廣泛認(rèn)可的定義渡嚣，為此，我想借助斯坦福大學(xué)的Machine learning課程中的一些案例來(lái)說(shuō)明這個(gè)問(wèn)題肥印。

先看一下機(jī)器學(xué)習(xí)在學(xué)術(shù)上定義的發(fā)展歷程识椰，Arthur Samuel是這樣定義的：

在進(jìn)行特定編程的情況下，給予計(jì)算機(jī)學(xué)習(xí)能力的領(lǐng)域深碱。

他的杰作也是大家比較熟悉的西洋棋程序腹鹉，通過(guò)編程讓程序跟自己下了幾萬(wàn)盤棋，通過(guò)學(xué)習(xí)那種布局會(huì)贏那種布局會(huì)輸敷硅，一段時(shí)間之后功咒，該西洋棋程序就知道什么是好的布局什么是壞的布局愉阎，再然后就牛逼了~

在此之后，機(jī)器學(xué)習(xí)的鼻祖級(jí)的人物力奋、卡內(nèi)基梅隆大學(xué)教授Tom Mitchell重新定義了什么是機(jī)器學(xué)習(xí)：

一個(gè)程序能夠從經(jīng)驗(yàn)E中學(xué)習(xí)榜旦，解決任務(wù)T,達(dá)到性能度量值P，當(dāng)且僅當(dāng)景殷，優(yōu)樂(lè)配經(jīng)驗(yàn)E后溅呢，經(jīng)過(guò)P評(píng)價(jià)，程序在處理任務(wù)T時(shí)的性能有所提升

對(duì)于上述的西洋棋程序而言滨彻，經(jīng)驗(yàn)E就是程序自己進(jìn)行的上萬(wàn)次的自我學(xué)習(xí)藕届，任務(wù)T就是下棋這個(gè)過(guò)程挪蹭，性能度量值P就是比賽的最紅會(huì)贏的概率亭饵。

這里引用電子郵件系統(tǒng)中的垃圾郵件標(biāo)注的案例，加入我們將一份該系統(tǒng)并沒(méi)標(biāo)注為垃圾郵件的郵件手動(dòng)變主衛(wèi)垃圾郵件梁厉，基于我們標(biāo)注的垃圾郵件辜羊，該垃圾郵件識(shí)別系統(tǒng)將更好的學(xué)習(xí)如何過(guò)濾垃圾郵件。

換個(gè)角度词顾，機(jī)器學(xué)習(xí)學(xué)習(xí)的對(duì)象又是什么呢八秃？數(shù)據(jù)，是的肉盹，是數(shù)據(jù)昔驱。他從數(shù)據(jù)出發(fā)，提取數(shù)據(jù)特征上忍，發(fā)現(xiàn)數(shù)據(jù)中的知識(shí)骤肛，然后又回到對(duì)數(shù)據(jù)的分析預(yù)測(cè)中去。為此窍蓝，在機(jī)器學(xué)習(xí)的假設(shè)中有很重重的一個(gè)假設(shè)腋颠，那就是假設(shè)同類數(shù)據(jù)的數(shù)據(jù)有一定的統(tǒng)計(jì)特性。這樣機(jī)器學(xué)習(xí)通過(guò)考慮學(xué)習(xí)什么樣的模型以及如何學(xué)習(xí)的問(wèn)題吓笙，使得模型能讀數(shù)據(jù)進(jìn)行準(zhǔn)確的預(yù)測(cè)與分析淑玫。

機(jī)器學(xué)習(xí)的組成

基于數(shù)據(jù)構(gòu)架模型從而對(duì)數(shù)據(jù)進(jìn)行分析預(yù)測(cè)的機(jī)器學(xué)習(xí)由監(jiān)督學(xué)習(xí)（supervised learning）、非監(jiān)督學(xué)習(xí)（unsupervised learning）面睛、半監(jiān)督學(xué)習(xí)（semi-supervised learning）和強(qiáng)化學(xué)習(xí)（reinforcement learning）等組成絮蒿。

監(jiān)督學(xué)習(xí)

1、可以由訓(xùn)練資料中學(xué)到或建立一個(gè)模式叁鉴，并依此模式推測(cè)新的實(shí)例歌径。訓(xùn)練資料是由輸入物件（通常是向量）和預(yù)期輸出所組成。函數(shù)的輸出可以是一個(gè)連續(xù)的值（稱為回歸分析）亲茅，或是預(yù)測(cè)一個(gè)分類標(biāo)簽（稱作分類）回铛。

2狗准、一個(gè)監(jiān)督式學(xué)習(xí)的任務(wù)在觀察完一些訓(xùn)練范例（輸入和預(yù)期輸出）后，去預(yù)測(cè)這個(gè)函數(shù)對(duì)任何可能出現(xiàn)的輸入的值的輸出茵肃。要達(dá)到此目的腔长，學(xué)習(xí)者必須以"合理"（見(jiàn)歸納偏向）的方式從現(xiàn)有的資料中一般化到非觀察到的情況。在人類和動(dòng)物感知中验残，則通常被稱為概念學(xué)習(xí)捞附。

3、監(jiān)督式學(xué)習(xí)有兩種形態(tài)的模型您没。最一般的鸟召，監(jiān)督式學(xué)習(xí)產(chǎn)生一個(gè)全域模型，會(huì)將輸入物件對(duì)應(yīng)到預(yù)期輸出氨鹏。而另一種欧募，則是將這種對(duì)應(yīng)實(shí)作在一個(gè)區(qū)域模型。（如案例推論及最近鄰居法）仆抵。

目前最廣泛被使用的分類器有人工神經(jīng)網(wǎng)絡(luò)跟继、支持向量機(jī)、最近鄰居法镣丑、高斯混合模型舔糖、樸素貝葉斯方法、決策樹和徑向基函數(shù)分類莺匠。

無(wú)監(jiān)督學(xué)習(xí)

1金吗、無(wú)監(jiān)督式學(xué)習(xí)(Unsupervised Learning )其目的是去對(duì)原始資料進(jìn)行分類，以便了解資料內(nèi)部結(jié)構(gòu)趣竣。有別于監(jiān)督式學(xué)習(xí)網(wǎng)絡(luò)摇庙，無(wú)監(jiān)督式學(xué)習(xí)網(wǎng)絡(luò)在學(xué)習(xí)時(shí)并不知道其分類結(jié)果是否正確，亦即沒(méi)有受到監(jiān)督式增強(qiáng)(告訴它何種學(xué)習(xí)是正確的)期贫。其特點(diǎn)是僅對(duì)此種網(wǎng)絡(luò)提供輸入范例跟匆，而它會(huì)自動(dòng)從這些范例中找出其潛在類別規(guī)則。當(dāng)學(xué)習(xí)完畢并經(jīng)測(cè)試后通砍，也可以將之應(yīng)用到新的案例上玛臂。

2、無(wú)監(jiān)督學(xué)習(xí)里典型的例子就是聚類了封孙。聚類的目的在于把相似的東西聚在一起迹冤，而我們并不關(guān)心這一類是什么。因此虎忌，一個(gè)聚類算法通常只需要知道如何計(jì)算相似度就可以開始工作了泡徙。

半監(jiān)督學(xué)習(xí)

1、?給定一個(gè)來(lái)自某未知分布的樣本集S=L∪U, 其中L 是已標(biāo)簽樣本集L={(x1,y1),(x2,y2), … ,(x |L|,y|L|)}, U是一個(gè)未標(biāo)簽樣本集U={x’1,x’2,…,x’|U|},希望得到函數(shù)f:X → Y可以準(zhǔn)確地對(duì)樣本x預(yù)測(cè)其標(biāo)簽y膜蠢，這個(gè)函數(shù)可能是參數(shù)的堪藐，如最大似然法莉兰；可能是非參數(shù)的，如最鄰近法礁竞、神經(jīng)網(wǎng)絡(luò)法糖荒、支持向量機(jī)法等；也可能是非數(shù)值的模捂，如決策樹分類捶朵。其中, x與x’ ?均為d 維向量, yi∈Y 為樣本x i 的標(biāo)簽, |L| 和|U| 分別為L(zhǎng) 和U 的大小, 即所包含的樣本數(shù)。半監(jiān)督學(xué)習(xí)就是在樣本集S 上尋找最優(yōu)的學(xué)習(xí)器狂男。如何綜合利用已標(biāo)簽樣例和未標(biāo)簽樣例,是半監(jiān)督學(xué)習(xí)需要解決的問(wèn)題综看。

2、半監(jiān)督學(xué)習(xí)問(wèn)題從樣本的角度而言是利用少量標(biāo)注樣本和大量未標(biāo)注樣本進(jìn)行機(jī)器學(xué)習(xí)岖食，從概率學(xué)習(xí)角度可理解為研究如何利用訓(xùn)練樣本的輸入邊緣概率 P( x )和條件輸出概率P ( y | x )的聯(lián)系設(shè)計(jì)具有良好性能的分類器红碑。這種聯(lián)系的存在是建立在某些假設(shè)的基礎(chǔ)上的，即聚類假設(shè)(cluster ?assumption)和流形假設(shè)(maniford assumption)县耽。

強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)是從動(dòng)物學(xué)習(xí)句喷、參數(shù)擾動(dòng)自適應(yīng)控制等理論發(fā)展而來(lái)镣典，其基本原理是：如果Agent的某個(gè)行為策略導(dǎo)致環(huán)境正的獎(jiǎng)賞(強(qiáng)化信號(hào))兔毙，那么Agent以后產(chǎn)生這個(gè)行為策略的趨勢(shì)便會(huì)加強(qiáng)。Agent的目標(biāo)是在每個(gè)離散狀態(tài)發(fā)現(xiàn)最優(yōu)策略以使期望的折扣獎(jiǎng)賞和最大兄春。

強(qiáng)化學(xué)習(xí)把學(xué)習(xí)看作試探評(píng)價(jià)過(guò)程澎剥，Agent選擇一個(gè)動(dòng)作用于環(huán)境，環(huán)境接受該動(dòng)作后狀態(tài)發(fā)生變化赶舆，同時(shí)產(chǎn)生一個(gè)強(qiáng)化信號(hào)(獎(jiǎng)或懲)反饋給Agent哑姚，Agent根據(jù)強(qiáng)化信號(hào)和環(huán)境當(dāng)前狀態(tài)再選擇下一個(gè)動(dòng)作，選擇的原則是使受到正強(qiáng)化(獎(jiǎng))的概率增大芜茵。選擇的動(dòng)作不僅影響立即強(qiáng)化值叙量，而且影響環(huán)境下一時(shí)刻的狀態(tài)及最終的強(qiáng)化值。

強(qiáng)化學(xué)習(xí)不同于連接主義學(xué)習(xí)中的監(jiān)督學(xué)習(xí)九串，主要表現(xiàn)在教師信號(hào)上绞佩，強(qiáng)化學(xué)習(xí)中由環(huán)境提供的強(qiáng)化信號(hào)是Agent對(duì)所產(chǎn)生動(dòng)作的好壞作一種評(píng)價(jià)(通常為標(biāo)量信號(hào))，而不是告訴Agent如何去產(chǎn)生正確的動(dòng)作猪钮。由于外部環(huán)境提供了很少的信息品山，Agent必須靠自身的經(jīng)歷進(jìn)行學(xué)習(xí)。通過(guò)這種方式烤低，Agent在行動(dòng)一一評(píng)價(jià)的環(huán)境中獲得知識(shí)肘交，改進(jìn)行動(dòng)方案以適應(yīng)環(huán)境。

強(qiáng)化學(xué)習(xí)系統(tǒng)學(xué)習(xí)的目標(biāo)是動(dòng)態(tài)地調(diào)整參數(shù)扑馁，以達(dá)到強(qiáng)化信號(hào)最大涯呻。若已知r/A梯度信息肛炮，則可直接可以使用監(jiān)督學(xué)習(xí)算法溺健。因?yàn)閺?qiáng)化信號(hào)r與Agent產(chǎn)生的動(dòng)作A沒(méi)有明確的函數(shù)形式描述，所以梯度信息r/A無(wú)法得到。因此叔壤，在強(qiáng)化學(xué)習(xí)系統(tǒng)中，需要某種隨機(jī)單元鲫骗，使用這種隨機(jī)單元织阳，Agent在可能動(dòng)作空間中進(jìn)行搜索并發(fā)現(xiàn)正確的動(dòng)作。