1萧诫、感知機學習
1.1 學習原理
假設訓練數(shù)據(jù)是線性可分的锄蹂，感知機學習的目標是求得一個能夠將訓練集正負實例點完全分開的分離超平面即f(x) = sign(wx + b)
1.2 損失函數(shù)
感知機學習里的策略是極小化誤分類點到分離超平面的總距離
1.3 優(yōu)化思路
感知機的學習算法是基于隨機梯度下降法對損失函數(shù)的最優(yōu)化算法戴尸，首先選取一個超平面捕虽，然后用梯度下降法不斷極小化目標函數(shù)。在這個過程中诅病，隨機選取一個誤分類點使其梯度下降汰具。感知機的學習算法存在無窮多個解卓鹿，其解由于不同的初值和不同的迭代順序而有所不同。
1.4 其他
感知機是神經(jīng)網(wǎng)絡與支持向量機的基礎
2留荔、K近鄰
2.1 學習原理
對于給定的訓練實例點和輸入實例點吟孙，首先確定輸入實例點的k個最近鄰訓練實例點，然后利用這k個訓練實例點的類別中的多數(shù)來預測輸入實例點的類聚蝶。
2.2 原理簡介
K近鄰算法不需要顯式的進行學習杰妓，K近鄰模型對應于基于訓練數(shù)據(jù)集對特征空間的一個劃分，當模型的三要素：距離度量碘勉、K值的選擇和分類決策規(guī)則確定后巷挥，模型預測結果唯一確定。
2.3 原理解析
常用的距離度量是歐式距離及更一般的曼哈頓距離验靡。K值小時倍宾，K近鄰模型更復雜；K值大時晴叨，K近鄰模型更簡單。K值的選擇反映了對近似誤差與估計誤差之間的權衡矾屯，通常由交叉驗證選擇最優(yōu)的K兼蕊，常用的分類決策規(guī)則是多數(shù)表決，對應于經(jīng)驗風險最小化件蚕。
2.4 近鄰查找算法
K近鄰法的實現(xiàn)需要考慮如何快速搜索K個最近鄰點孙技。KD樹是一種便于對K維空間中的數(shù)據(jù)進行快速搜索的數(shù)據(jù)結構，KD樹是二叉樹排作，表示對K維空間的一個劃分牵啦，其每個結點對應于K維空間劃分中的一個超矩形區(qū)域，利用KD樹可以省去對大部分數(shù)據(jù)點的搜索妄痪，從而減少搜索的計算量哈雏。
3、樸素貝葉斯
樸素貝葉斯法是基于貝葉斯定理與特征條件獨立性假設的分類方法。對于給定的訓練數(shù)據(jù)集裳瘪，首先基于條件獨立性假設學習輸入土浸、輸出的聯(lián)合概率分布，然后基于此模型彭羹，對給定的輸入x黄伊，利用貝葉斯定理求出后驗概率最大的輸出y。
4派殷、邏輯回歸
4还最、最大熵
5、決策樹
6毡惜、SVM
7拓轻、HMM
隱藏馬可夫是關于時序的概率模型，描述由一個隱藏的馬爾可夫鏈隨機生成的不可觀測的狀態(tài)隨機序列虱黄，再由各個狀態(tài)生成一個觀測而產(chǎn)生觀測隨機序列的過程悦即。
HMM模型作的兩個基本假設：
1.齊次馬爾科夫性假設，即假設隱藏的馬爾科夫鏈在任意時刻t的狀態(tài)只依賴于其前一時刻的狀態(tài)橱乱，與其它時刻的狀態(tài)及觀測無關辜梳，也與時刻t無關；
2.觀測獨立性假設泳叠，即假設任意時刻的觀測只依賴于該時刻的馬爾科夫鏈的狀態(tài)作瞄，與其它觀測和狀態(tài)無關，
隱藏馬可夫模型由初始概率分布π危纫、狀態(tài)轉移概率分布A以及觀測概率分布確定B宗挥。
隱藏馬可夫模型三個基本問題：
（1）、概率計算問題：給定模型λ=（A种蝶，B契耿，π）和觀測序列O=(o1，o2螃征，o3搪桂，...., oT)，計算在模型λ下觀測序列O出現(xiàn)的概率P(O|λ)盯滚。
（2）踢械、學習問題：已知觀測序列O=(o1，o2魄藕，o3内列，...., oT)，估計模型λ=（A背率，B话瞧，π）參數(shù)嫩与，使得在該模型下觀測序列概率P(O|λ)最大，即用極大似然估計的方法估計參數(shù)移稳。
（3）蕴纳、預測問題：也稱為解碼問題，已知模型λ=（A个粱，B古毛，π）和觀測序列O=(o1，o2都许，o3稻薇，...., oT)，求對給定觀測序列條件概率P(I|O)最大狀態(tài)序列I=（i1胶征，i2塞椎，i3，...., iT），即給定觀測序列，求最有可能的對應的狀態(tài)序列镐作。
8抑堡、CRF
條件隨機場是指給定一組隨機變量X條件下簿训，另一組輸出隨機變量Y的條件概率模型，特點是假設輸出隨機變量構成馬爾可夫隨機場。學習時，利用訓練數(shù)據(jù)通過極大似然估計或正則化的極大似然估計得到條件概率模型P(Y|X)拉庵；預測時，對于給定的輸入序列X套蒂，求出條件概率P(Y|X)最大的輸出序列Y钞支。
