線性回歸模型
x1,x2...是我們所選取的特征汰规，h(x)是我們所建立的模型，其中有n+1個(gè)參數(shù)柏靶。令x0=1,則
損失函數(shù)
作為損失函數(shù)弃理，我們的目的是使得上式最小。
梯度下降
對(duì)參數(shù)進(jìn)行賦值屎蜓，使得損失函數(shù)按梯度下降最快的方向進(jìn)行痘昌，一直迭代下去，最終得到局部最小值炬转。α是學(xué)習(xí)率辆苔，決定了沿梯度下降的方向邁出的步子有多大。
圖中紅點(diǎn)的導(dǎo)數(shù)扼劈，即該點(diǎn)的斜率為正斜率驻啤，參數(shù)值向左移動(dòng)，就要減去該參數(shù)的導(dǎo)數(shù)测僵。
正規(guī)方程
正規(guī)方程通過(guò)求解下面的方程來(lái)找出使得損失函數(shù)最小的參數(shù)：
利用正規(guī)方程解出向量：
推導(dǎo)過(guò)程：
