一允跑、線型回歸（Linear regression）
二、梯度下降（Gradient descent)
三搪柑、邏輯回歸（Logistic regression）
????????邏輯回歸是一個(gè)分類算法聋丝，邏輯回歸的Hypothesis和線性回歸非常相似：
四、Bias工碾、Variance
五弱睦、Regularization
總結(jié)：線型回歸和邏輯回歸都是適合線型可分的情況
六、神經(jīng)網(wǎng)絡(luò)
????????實(shí)際上渊额，可以將Logistic Regression看做是僅含有一層神經(jīng)元的單層的神經(jīng)網(wǎng)絡(luò)况木。一般用于二分類網(wǎng)絡(luò)，線性可分的情況旬迹，是一個(gè)線性模型火惊，激活函數(shù)為Sigmoid，logistic regression的一個(gè)優(yōu)點(diǎn)是logistic cost function 是一個(gè)凸函數(shù)奔垦，可以求得全局最小值屹耐，可以用極大似然估計(jì)求解。
? ? ? ? 神經(jīng)網(wǎng)絡(luò)是一個(gè)對(duì)于處理復(fù)雜的非線性模型很優(yōu)秀的算法椿猎。
神經(jīng)元：
神經(jīng)網(wǎng)絡(luò)：
? ? ? ? 就是一組神經(jīng)元連接在一起的集合惶岭。神經(jīng)網(wǎng)絡(luò)的第一層是輸入層，值為xi鸵贬，最后一層是輸出層俗他，如果作為分類算法訓(xùn)練則有多少個(gè)類別就應(yīng)該有多少個(gè)對(duì)應(yīng)的輸出單元，對(duì)應(yīng)的輸出單元被激活代表著分類的結(jié)果阔逼。隱藏層可以有多層兆衅，每層可以有多個(gè)單元，規(guī)模越大訓(xùn)練的模型越復(fù)雜。而對(duì)于隱藏層中的每個(gè)單元本身都是一個(gè)邏輯回歸的過(guò)程羡亩，也就是說(shuō)每個(gè)隱藏單元都訓(xùn)練出了一個(gè)比前一層更加復(fù)雜的特征摩疑，這樣一層接一層我們就可以訓(xùn)練出越來(lái)越復(fù)雜的特征，直到得到結(jié)果畏铆。
