待更新
5.7 監(jiān)督學(xué)習(xí)算法
5.7.1 概率監(jiān)督學(xué)習(xí)
邏輯回歸(logistic regression)
關(guān)于邏輯回歸瞧壮，之前在csdn上有總結(jié)了一篇文章孙乖，鏈接如下：
https://blog.csdn.net/jiebanmin0773/article/details/82962182
5.7.2 支持向量機(jī)
支持向量機(jī) (support vector machine, SVM):
詳細(xì)鏈接：http://www.reibang.com/p/5b3dafbd95e1
5.7.3 其他簡(jiǎn)單的監(jiān)督學(xué)習(xí)算法
決策樹(decision tree):
5.8 無監(jiān)督學(xué)習(xí)算法
5.8.1 主成分分析
5.8.2 k-均值聚類
5.9 隨機(jī)梯度下降
5.10 構(gòu)建機(jī)器學(xué)習(xí)算法
5.11 推動(dòng)深度學(xué)習(xí)的挑戰(zhàn)
5.11.1 維數(shù)災(zāi)難
維數(shù)災(zāi)難 (curse of dimensionality):
當(dāng)樣本在低維空間沒有辦法被線性可分時(shí)幌陕，我們會(huì)將其映射到高維空間使其線性可分汹买。維度越高，被線性可分的可能性越大静暂。而維度過高則會(huì)帶來維數(shù)災(zāi)難的問題济丘。
以書中的圖為例：
許多傳統(tǒng)機(jī)器學(xué)習(xí)算法只是簡(jiǎn)單地假 設(shè)在一個(gè)新點(diǎn)的輸出應(yīng)大致和最接近的訓(xùn)練點(diǎn)的輸出相同。然而在高維空間中峡竣，這 個(gè)假設(shè)是不夠的靠抑。
5.11.2 局部不變性和平滑正則化
**
5.11.3 流形學(xué)習(xí)
通俗理解:總共有26個(gè)英文字母。從這26個(gè)字母中隨機(jī)抽取字母生成文件适掰，那么這個(gè)文件被讀懂的概率很低颂碧。因?yàn)榇蟾怕噬傻淖帜感蛄胁⒉皇亲匀徽Z言序列荠列。自然語言序列的分布只占了字母序列的總空間里非常小的一部分。相當(dāng)于自然語言的序列是字母序列空間中的一個(gè)相當(dāng)小的流形中载城。除了概率的集中分布肌似，樣本之間的連接，每個(gè)樣本被其他高度相似的樣本包圍诉瓦， 可以通過變換來遍歷該流形川队。
