多變量線性回歸代價(jià)函數(shù)為：
其中：
正規(guī)方程是通過(guò)求解下面的方程來(lái)找出使得代價(jià)函數(shù)最小的參數(shù)：
設(shè)有m個(gè)訓(xùn)練實(shí)例，每個(gè)實(shí)例有n個(gè)特征，則訓(xùn)練實(shí)例集為：
其中
表示第i個(gè)實(shí)例第j個(gè)特征。
特征參數(shù)為：
輸出變量為：
進(jìn)行求導(dǎo)，等價(jià)于如下的形式：
其中第一項(xiàng)：
其中第二項(xiàng)：
該矩陣求導(dǎo)為分母布局下的標(biāo)量/向量形式：
故有
第三項(xiàng)
該矩陣求導(dǎo)為分母布局下的標(biāo)量/向量形式：
因此
第四項(xiàng)：
為標(biāo)量碌嘀，可看成一個(gè)常數(shù)挤安。 該矩陣求導(dǎo)為分母布局下的標(biāo)量/向量形式,因而(二次型結(jié)合矩陣求導(dǎo)):
綜上喜最，正規(guī)方程為：
最終可得特征參數(shù)的表示：
