一.初識(shí)機(jī)器學(xué)習(xí)
1.監(jiān)督學(xué)習(xí)
在監(jiān)督學(xué)習(xí)中笋敞，訓(xùn)練數(shù)據(jù)既有特征又有標(biāo)簽观挎，通過(guò)訓(xùn)練，讓機(jī)器可以自己找到特征和標(biāo)簽之間的聯(lián)系役衡，在面對(duì)只有特征沒(méi)有標(biāo)簽的數(shù)據(jù)時(shí)茵休，可以判斷出標(biāo)簽。監(jiān)督學(xué)習(xí)可以分為回歸問(wèn)題和分類問(wèn)題手蝎￠泡海回歸問(wèn)題是利用訓(xùn)練出的模型，預(yù)測(cè)連續(xù)的數(shù)值輸出棵介；分類問(wèn)題是預(yù)測(cè)離散值的輸出钉鸯。
2.無(wú)監(jiān)督學(xué)習(xí)
無(wú)監(jiān)督學(xué)習(xí)是給算法大量的數(shù)據(jù)，要求它找出數(shù)據(jù)的類型結(jié)構(gòu)邮辽。無(wú)監(jiān)督學(xué)習(xí)的數(shù)據(jù)沒(méi)有標(biāo)簽唠雕，或是所有數(shù)據(jù)都是同一種標(biāo)簽。聚類算法就屬于無(wú)監(jiān)督學(xué)習(xí)吨述。
二.單變量線性回歸
1.模型描述
線性回歸就是用直線模型來(lái)擬合數(shù)據(jù)岩睁，它解決的是最小化問(wèn)題，要求預(yù)測(cè)值與準(zhǔn)確值之間的差異最小揣云。
2.梯度下降法
（1）梯度下降法思路
給定和
的初始值（通常取0）笙僚；不斷更新
和
，使得
變小灵再，直到找到最小值肋层。
（2）梯度下降法的參數(shù)更新公式：
其中亿笤，是學(xué)習(xí)率，即控制梯度下降邁出的步長(zhǎng)栋猖；
是導(dǎo)數(shù)項(xiàng)净薛，即梯度下降的方向。要注意蒲拉，在更新時(shí)必須要同時(shí)更新
和
肃拜。
梯度下降時(shí)，不用刻意減小雌团，因?yàn)殡S著離最小值越來(lái)越近燃领，導(dǎo)數(shù)項(xiàng)（斜率）會(huì)越來(lái)越小，所以下降幅度會(huì)自動(dòng)變小锦援。
3.線性回歸中的梯度下降
（1）線性回歸中的更新公式
則,
.
所以 ,
重復(fù)上述更新猛蔽，直至收斂。需要強(qiáng)調(diào)的是灵寺，梯度下降法容易陷入局部最優(yōu)的問(wèn)題曼库，但如果目標(biāo)函數(shù)為凸函數(shù)，則梯度下降法只有全局最優(yōu)解略板，沒(méi)有局部最優(yōu)解毁枯，線性回歸的損失函數(shù)就是凸函數(shù)。
三.多變量線性回歸
1.模型描述
多變量線性回歸模型和單變量線性回歸模型類似叮称，單變量線性回歸模型每個(gè)訓(xùn)練樣本有一個(gè)特征种玛，而多變量線性回歸模型每個(gè)訓(xùn)練樣本有多個(gè)特征。
需要注意的是：線性回歸中的“線性”的含義是指預(yù)測(cè)值與未知的回歸系數(shù)
是線性的瓤檐，并不是指跟特征
是線性的蒂誉。所以可以根據(jù)解決問(wèn)題的不同，選擇合適的特征去擬合數(shù)據(jù)（比如將已知的特征相乘等）距帅。
2.多變量線性回歸的梯度下降法
（1）更新公式
重復(fù)上式右锨，直至收斂。
（2）多元梯度下降法演練
特征縮放：在梯度下降中碌秸，如果每個(gè)特征值的范圍相差太大绍移，則損失函數(shù)的等高線呈橢圓狀，會(huì)導(dǎo)致梯度下降來(lái)回震蕩（下降方向與等高線切線垂直）讥电，需要很長(zhǎng)時(shí)間才會(huì)收斂蹂窖；所以如果能確保每個(gè)特征值都在相近的范圍內(nèi)，這樣梯度下降就可以更快地收斂恩敌。
特征縮放的方法主要有：每個(gè)特征值都除以它的最大值瞬测；或均值歸一化等；具體方法視情況而定。
學(xué)習(xí)率的選擇：一般可以用損失函數(shù)的值和迭代次數(shù)的函數(shù)來(lái)判斷梯度下降是否收斂月趟。如圖：
總之，只要學(xué)習(xí)率足夠小因妇，則每次迭代后的損失函數(shù)都會(huì)下降问潭，但如果學(xué)習(xí)率過(guò)小，則梯度下降法可能收斂速度過(guò)慢婚被。
3.正規(guī)方程法
正規(guī)方程法是通過(guò)求解該方程：來(lái)尋找使得損失函數(shù)最小的
狡忙。
假設(shè)有個(gè)訓(xùn)練樣本：
，和
個(gè)特征變量址芯。
,設(shè)計(jì)矩陣
,
則灾茁。具體數(shù)學(xué)推導(dǎo)可參考鏈接。
4.梯度下降法與正規(guī)方程法比較
梯度下降法缺點(diǎn)：（1）需要選擇合適的學(xué)習(xí)率是复；（2）需要多次迭代删顶，計(jì)算較慢竖螃。（這些缺點(diǎn)正規(guī)方程法都可避免）
梯度下降法優(yōu)點(diǎn)：特征變量很多時(shí)淑廊，也能運(yùn)行的相當(dāng)好。（但特征變量過(guò)多的話特咆，正規(guī)方程法計(jì)算逆的速度會(huì)很慢）
所以季惩，當(dāng)較小時(shí)，選正規(guī)方程法腻格；當(dāng)
時(shí)画拾，更傾向于梯度下降法。
5.正規(guī)方程在矩陣不可逆情況下的解決方法
若矩陣不可逆菜职，首先看是否有多余特征青抛，比如和
線性相關(guān)，則可刪除其中一個(gè)酬核；如果沒(méi)有多余的特征蜜另，則檢查是否有過(guò)多的特征，如果特征過(guò)多嫡意，則考慮刪除一些影響很小的特征或考慮正則化举瑰。
四.總結(jié)
這兩周學(xué)習(xí)了吳恩達(dá)的機(jī)器學(xué)習(xí)視頻，主要是線性回歸的部分蔬螟，內(nèi)容都還是比較基礎(chǔ)的此迅，之前也都學(xué)習(xí)過(guò)，但之前的學(xué)習(xí)主要是從統(tǒng)計(jì)角度的理解，從機(jī)器學(xué)習(xí)的角度重新學(xué)習(xí)后耸序，也有一些新的收獲忍些。
