介紹
第一部分 參數(shù)方法——類密度模型參數(shù)估計(jì)
第二部分 監(jiān)督學(xué)習(xí)——分類（基于似然的方法）
第三部分 監(jiān)督學(xué)習(xí)——分類（基于判別式的方法）（參數(shù)方法——判別式參數(shù)估計(jì)）
第四部分 監(jiān)督學(xué)習(xí)——回歸
第五部分 監(jiān)督學(xué)習(xí)——關(guān)聯(lián)規(guī)則
第六部分 維度規(guī)約（特征的提取和組合）
第七部分 半?yún)?shù)方法
第八部分 非監(jiān)督學(xué)習(xí)——聚類
第九部分 非參數(shù)方法——密度估計(jì)
第十部分 非參數(shù)方法——決策樹(shù)實(shí)現(xiàn)的判別式
第十一部分 多層感知器——非參數(shù)估計(jì)器
第十二部分 局部模型
第十三部分 支持向量機(jī)與核機(jī)器
第十四部分 隱馬爾科夫模型
第十五部分 參數(shù)的貝葉斯估計(jì)
第十六部分 集成學(xué)習(xí)——組合多學(xué)習(xí)器
第十七部分 增強(qiáng)學(xué)習(xí)
第十八部分 機(jī)器學(xué)習(xí)實(shí)驗(yàn)
第十九部分 特征工程與數(shù)據(jù)預(yù)處理
各種應(yīng)用場(chǎng)景之中的問(wèn)題繁雜多樣朋腋，不同的具體問(wèn)題，往往各有其獨(dú)有的優(yōu)解膜楷。計(jì)算機(jī)通過(guò)執(zhí)行算法——也就是指令的序列旭咽，來(lái)解決一個(gè)問(wèn)題。但面對(duì)繁復(fù)的問(wèn)題赌厅，往往由于缺乏相應(yīng)的知識(shí)穷绵，不能保證對(duì)每種問(wèn)題都了如指掌，從而很難直接最優(yōu)的解決方案供計(jì)算機(jī)執(zhí)行特愿。
但作為補(bǔ)償仲墨，我們有數(shù)據(jù)。從數(shù)據(jù)中提取有用的知識(shí)揍障，解決問(wèn)題目养，是數(shù)據(jù)應(yīng)用的核心目的。
機(jī)器學(xué)習(xí)在大數(shù)據(jù)中的應(yīng)用可稱為數(shù)據(jù)挖掘毒嫡，其發(fā)掘數(shù)據(jù)中所蘊(yùn)含的知識(shí)信息癌蚁。機(jī)器學(xué)習(xí)也是人工智能的組成部分。智能化的系統(tǒng)，在變化的應(yīng)用環(huán)境中需要具備學(xué)習(xí)的能力匈勋，來(lái)適應(yīng)這些變化礼旅。這樣，系統(tǒng)的設(shè)計(jì)者就不必預(yù)見(jiàn)所有的情況洽洁，并未它們提供解決方案了痘系。同樣，在人工智能常見(jiàn)的應(yīng)用場(chǎng)景——視覺(jué)饿自、語(yǔ)音識(shí)別等方面汰翠，機(jī)器學(xué)習(xí)也提供了很多幫助。
機(jī)器學(xué)習(xí)在構(gòu)建模型時(shí)利用了統(tǒng)計(jì)學(xué)理論昭雌，其核心任務(wù)就是用樣本推理（這也正是統(tǒng)計(jì)學(xué)的任務(wù)）复唤。而計(jì)算機(jī)科學(xué)在機(jī)器學(xué)習(xí)中的角色分為兩部分。第一烛卧，在訓(xùn)練時(shí)佛纫，需要對(duì)優(yōu)化問(wèn)題求解、同時(shí)面對(duì)大數(shù)據(jù)的存儲(chǔ)和處理需要保證算法的高效和穩(wěn)定总放。第二呈宇、在學(xué)習(xí)得到模型后，使用模型進(jìn)行推理的算法也需要是高效的局雄。
機(jī)器學(xué)習(xí)的主要應(yīng)用包括 學(xué)習(xí)關(guān)聯(lián)性甥啄、分類、回歸炬搭、聚類蜈漓、策略增強(qiáng)學(xué)習(xí)等。
根據(jù)數(shù)據(jù)情況宫盔，可分為監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)融虽。相比于監(jiān)督學(xué)習(xí)，非監(jiān)督學(xué)習(xí)——沒(méi)有輸出信息灼芭，我們的目的是發(fā)現(xiàn)輸入空間所具有的某種結(jié)構(gòu)衣形。統(tǒng)計(jì)學(xué)中，可稱為密度估計(jì)姿鸿。通過(guò)密度估計(jì)，也可實(shí)現(xiàn)回歸的分析目的倒源。
對(duì)于屬于非監(jiān)督學(xué)習(xí)的聚類問(wèn)題苛预，其數(shù)據(jù)，相比監(jiān)督學(xué)習(xí)的數(shù)據(jù)缺少輸出標(biāo)簽笋熬。分類問(wèn)題是利用數(shù)據(jù)已有的標(biāo)簽热某，學(xué)習(xí)屬于同一標(biāo)簽下數(shù)據(jù)的特征。而聚類與分類問(wèn)題的不同，就在于類標(biāo)簽不是事先已知的昔馋。
此外還有增強(qiáng)學(xué)習(xí)也屬于機(jī)器學(xué)習(xí)的一種應(yīng)用筹吐。系統(tǒng)多次輸出的動(dòng)作構(gòu)成策略，而學(xué)習(xí)目的是評(píng)估策略的好壞秘遏，進(jìn)而產(chǎn)生好的策略丘薛。
本文檔，旨在以機(jī)器學(xué)習(xí)的目的（分類邦危、回歸等）為線索洋侨，梳理各種機(jī)器學(xué)習(xí)方法。對(duì)同樣的學(xué)習(xí)目的倦蚪，盡量將各種方法歸在一起介紹希坚，著重對(duì)比。
對(duì)于分類問(wèn)題陵且，基于似然的方法假設(shè)類似然的分布裁僧，再估計(jì)分布參數(shù)。這時(shí)需要對(duì)參數(shù)方法慕购、非參數(shù)方法對(duì)類似然的估計(jì)進(jìn)行對(duì)比聊疲。而基于判別式的方式直接估計(jì)判別式，其中包括邏輯斯蒂函數(shù)脓钾、支持向量機(jī)售睹、決策樹(shù)的方法。對(duì)于回歸問(wèn)題也類似可训，也要注重對(duì)比參數(shù)和非參數(shù)方法昌妹，以及回歸樹(shù)的區(qū)別∥战兀基于基本的機(jī)器學(xué)習(xí)方法飞崖，再進(jìn)一步展開(kāi)到集成學(xué)習(xí)、強(qiáng)化學(xué)習(xí)的內(nèi)容谨胞。
這是因?yàn)楹芏喾椒梢杂糜趯?shí)現(xiàn)不同的學(xué)習(xí)目的固歪。將方法手段技巧，與學(xué)習(xí)目的分開(kāi)討論胯努，有利于更好掌握機(jī)器學(xué)習(xí)基礎(chǔ)理論牢裳。
