一、機(jī)器學(xué)習(xí)
1.1概念
機(jī)器學(xué)習(xí)是應(yīng)用學(xué)習(xí)算法，用無(wú)窮多的特征或者線索來(lái)做預(yù)測(cè)假哎，如何處理這些特征是關(guān)鍵芒帕。
1.2監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)
監(jiān)督學(xué)習(xí)：對(duì)數(shù)據(jù)集的每個(gè)樣本歉嗓，想要算法預(yù)測(cè)并得出正確答案。（事先給定一些確定的值背蟆，然后根據(jù)這些值預(yù)測(cè)想要的值）
回歸問(wèn)題：預(yù)測(cè)一個(gè)連續(xù)的輸出 ?? 分類問(wèn)題：預(yù)測(cè)離散的輸出
無(wú)監(jiān)督學(xué)習(xí)（聚類算法）：運(yùn)行一個(gè)聚類算法鉴分，把不同的自動(dòng)區(qū)分開(kāi)
二、單變量線性回歸
2.1模型概述? model representation
現(xiàn)在我們已知一些值带膀，例如已知幾百組房子的大小和房?jī)r(jià)志珍，想根據(jù)這些值估計(jì)一個(gè)房子的房?jī)r(jià)。
這時(shí)我們假設(shè)房?jī)r(jià)隨房子大小的變化符合一個(gè)函數(shù)垛叨，這就是假設(shè)函數(shù)伦糯。
h代表假設(shè)函數(shù)，給定輸入有一個(gè)輸出嗽元。
2.2敛纲、代價(jià)函數(shù)? cost fuction
有了假設(shè)函數(shù)以后，需要知道它是否能得到準(zhǔn)確的輸出还棱，單變量線性回歸函數(shù)h(x)中载慈，取不同的值得到的函數(shù)不同，如何評(píng)判這個(gè)函數(shù)是否能準(zhǔn)確地預(yù)測(cè)x對(duì)應(yīng)的值珍手？
用真實(shí)值減去擬合值办铡，當(dāng)差的平方的總和最小時(shí)辞做，此時(shí)每一點(diǎn)的擬合值都十分接近真實(shí)值，誤差最小寡具。在此引入代價(jià)函數(shù)秤茅，代價(jià)函數(shù)時(shí)關(guān)于的函數(shù)，因?yàn)槊恳唤M
都會(huì)有一個(gè)對(duì)應(yīng)的差值平方和童叠。假設(shè)函數(shù)在已知點(diǎn)的預(yù)測(cè)值與實(shí)際值十分接近時(shí)框喳，我們認(rèn)為這個(gè)代價(jià)函數(shù)比較可靠。
有兩個(gè)待求值
通常用等高線表示厦坛，我們需要找到圓心所在的點(diǎn)
讓代價(jià)函數(shù)值最小時(shí)的即為要求的參數(shù)五垮。當(dāng)只有一個(gè)要求的值時(shí)，J的曲線是二維杜秸；兩個(gè)時(shí)放仗，是三維，以此類推撬碟。我們要求最低點(diǎn)诞挨。
2.3、梯度下降? Gradient desent
如何求出使代價(jià)函數(shù)值最小的們是關(guān)鍵呢蛤，我們應(yīng)用梯度下降法惶傻。梯度下降法的思想是，在一點(diǎn)處找到下降最快的方向其障，每次向下走一小段距離银室，并更新參數(shù)的值，一步一步減小代價(jià)函數(shù)的值静秆，直到最低點(diǎn)粮揉。
如圖更好理解梯度下降的含義
梯度下降公式如下
這個(gè)偏導(dǎo)數(shù)決定了下降的方向，找到最陡的方向抚笔，下降的最快，也能最快到達(dá)最低點(diǎn)侨拦。
代表學(xué)習(xí)速率殊橙，是沿著下降最快的方向下降步伐的大小。雖然想很快的到達(dá)最低點(diǎn)狱从，但是這個(gè)值也不能太大膨蛮。
如果沿著這個(gè)方向走得太多，很可能就過(guò)了最低點(diǎn)季研，甚至于不收斂敞葛；走的太少可能就很慢到達(dá)最低點(diǎn)。當(dāng)只有一個(gè)要求的值的時(shí)与涡，下面列出了走的太慢和走的太快的例子惹谐。
注意持偏，更新要同時(shí)更新，不能先更新一個(gè)氨肌，再用這個(gè)新的值去更新另一個(gè)值鸿秆，因?yàn)檫@樣就不是在這一點(diǎn)處下降的最快的方向。
2.4線性回歸的梯度下降
將梯度下降應(yīng)用到最小化平方差代價(jià)函數(shù)怎囚，就是求出J最小時(shí)對(duì)應(yīng)的卿叽，如何求
？選定最初的
值恳守，一步一步迭代直至收斂考婴。
關(guān)鍵步驟是正確的求出偏導(dǎo)數(shù)項(xiàng)，這可以用學(xué)過(guò)的知識(shí)來(lái)求催烘，此處省略沥阱。要做的就是不斷更新的值直到
收斂。
在實(shí)際情況中颗圣，如果我們從不同的點(diǎn)出發(fā)喳钟，可能會(huì)得到不同的結(jié)果
bantch 算法是我們學(xué)習(xí)的算法，每一步梯度下降都需要用到所有的訓(xùn)練樣本在岂，這個(gè)算法會(huì)全攬整個(gè)訓(xùn)練集奔则。
以后也會(huì)學(xué)習(xí)其他的算法。
