- 本文首發(fā)自公眾號：RAIS睦柴，點擊直接關(guān)注毯侦。
前言
本系列文章為《Deep Learning》讀書筆記，可以參看原書一起閱讀米死，效果更佳。我們前面也介紹了一些構(gòu)建機器學(xué)習(xí)或深度學(xué)習(xí)的一些內(nèi)容贮庞，理解了其中部分原理和這么做的原因峦筒，接下來我們總結(jié)一下，跳出來從更高一點的方面去概括的看一看窗慎，也許會有不同的感覺物喷。
構(gòu)建機器學(xué)習(xí)算法
構(gòu)建機器學(xué)習(xí)算法是有套路的：特定的數(shù)據(jù)集、代價函數(shù)遮斥、優(yōu)化過程和模型峦失。數(shù)據(jù)集比較好理解，沒有數(shù)據(jù)模型就沒辦法訓(xùn)練术吗，需要做的事情可能是把不好是數(shù)據(jù)處理成好的數(shù)據(jù)尉辑，這屬于特征工程方面的問題，在深度學(xué)習(xí)研究者中也有大量的時間花在了特征工程上较屿。代價函數(shù)隧魄，機器學(xué)習(xí)的訓(xùn)練模型的過程就是優(yōu)化代價函數(shù)的過程，盡可能使代價函數(shù)減小吝镣。一般的優(yōu)化算法就是找損失函數(shù)梯度為零堤器，或者說找到最小值（極小值）的一組參數(shù)。代價函數(shù)一般與 損失函數(shù) 和 目標(biāo)函數(shù) 進行一個對比末贾，他們的區(qū)別是：
- 損失函數(shù)：通常定義在一個數(shù)據(jù)點上來計算誤差闸溃；
- 代價函數(shù)：通常定義在整個訓(xùn)練集上來計算誤差，是損失函數(shù)的平均值拱撵；
- 目標(biāo)函數(shù)：訓(xùn)練期間優(yōu)化任何功能的最通用的術(shù)語辉川，包括目標(biāo)損失和結(jié)構(gòu)損失（如代價函數(shù) + 正則化）
具體那個式子叫做什么其實還是有一點爭議的，不過不要糾結(jié)了拴测，明確具體需要做什么就好了乓旗。我們這里需要提醒一下，由于模型的不同集索，不是所有的時候都能找到閉式解屿愚，例如非線性模型，這時需要用到數(shù)值優(yōu)化的方法务荆，比如梯度下降的方法逼近目標(biāo)妆距，不是這里的重點，注意就好函匕。
遇到的問題
促使一門學(xué)科的發(fā)展從來都不是已經(jīng)比較好解決了的問題娱据，都是那些沒有解決的問題，深度學(xué)習(xí)機器學(xué)習(xí)也是一樣的盅惜，正是因為還存在各種問題才推動著其繼續(xù)向前發(fā)展中剩。
維數(shù)災(zāi)難
又名維數(shù)的詛咒忌穿，是不是有那么一種命中注定的感覺。每增加一個維度數(shù)據(jù)空間的大小都成指數(shù)級增長结啼，要填滿數(shù)據(jù)空間所需要的數(shù)據(jù)量就會急劇膨脹掠剑，反過來來說，數(shù)據(jù)量沒那么大的情況下就會讓數(shù)據(jù)在其空間的分布變得稀疏郊愧，也就是大量的特征沒有數(shù)據(jù)去進行訓(xùn)練澡腾，必然會導(dǎo)致模型的泛化能力減弱。
局部不變性
為了更好的泛化糕珊，機器學(xué)習(xí)應(yīng)該由先驗引導(dǎo)應(yīng)該學(xué)習(xí)什么類型的函數(shù)，其中最廣泛的是平滑先驗（局部不變性先驗）毅糟，說的是我們學(xué)習(xí)的函數(shù)不應(yīng)該在小區(qū)域內(nèi)發(fā)生很大的變化红选，這是我們可以直觀理解的。一般情況下姆另，這都能表現(xiàn)良好喇肋，問題是在高維空間上，即使非常平滑的函數(shù)在同維度上也有不同的變化迹辐，如果函數(shù)在不同的區(qū)間表現(xiàn)不一樣蝶防，那就沒辦法用一組訓(xùn)練樣本去刻畫函數(shù)，也就沒辦法很好的泛化明吩。
流形學(xué)習(xí)
流形學(xué)習(xí)可以用在維數(shù)約簡方面间学，主要做法就是將高維的數(shù)據(jù)映射到低維，在低維上數(shù)據(jù)能夠反映高維數(shù)據(jù)的本質(zhì)特征印荔，其中去除的是高維數(shù)據(jù)的一些冗余低葫。反過來，也是因為這假設(shè)的是這個高維數(shù)據(jù)是原來低緯數(shù)據(jù)嵌入到高維空間中仍律，流形學(xué)習(xí)是求其逆運算嘿悬。
總結(jié)
本文介紹了構(gòu)建機器學(xué)習(xí)方法的一般步驟，及其所遇到的問題水泉。
- 本文首發(fā)自公眾號：RAIS善涨，點擊直接關(guān)注。由于各平臺 Markdown 解析差異草则，有些公式顯示效果不好钢拧，請到我 個人維護網(wǎng)站 查看。
