1.?方差的目的是衡量一組數(shù)據(jù)離散程度的度量。
概率論中定義：在概率分布中咐蚯，設(shè)X是一個(gè)離散型隨機(jī)變量童漩，若存在，則稱(chēng)
為X的方差春锋，記為D(X)矫膨，E(X)為隨機(jī)變量X的期望（定義：離散型
）
但是在現(xiàn)實(shí)世界計(jì)算E(X)中，因?yàn)閄的值太多期奔，計(jì)算E(X)不太可能侧馅，使用采樣方式，即統(tǒng)計(jì)學(xué)如何定義方差呐萌。
統(tǒng)計(jì)學(xué)中的定義是：,?
為總體或者樣本方差馁痴，
為總體或者樣本均值，X為變量肺孤，N為總體例數(shù)或者樣本數(shù)弥搞。
2. 標(biāo)準(zhǔn)差：標(biāo)準(zhǔn)差是方差的平方根,又稱(chēng)均方差。
概率論中的標(biāo)準(zhǔn)差公式：
統(tǒng)計(jì)學(xué)中的標(biāo)準(zhǔn)差公式：
方差與我們要處理的數(shù)據(jù)的量綱是不一致的渠旁，雖然能很好的描述數(shù)據(jù)與均值的偏離程度攀例，但是處理結(jié)果是不符合我們的直觀思維。舉個(gè)例子：一個(gè)班級(jí)里有60個(gè)學(xué)生顾腊，平均成績(jī)是70分粤铭，標(biāo)準(zhǔn)差是9，方差是81杂靶，假設(shè)成績(jī)服從正態(tài)分布梆惯，那么我們通過(guò)方差不能直觀的確定班級(jí)學(xué)生與均值到底偏離了多少分，通過(guò)標(biāo)準(zhǔn)差我們就很直觀的得到學(xué)生成績(jī)分布在[61,79]范圍的概率為68%吗垮，即約等于下圖中的34.2%*2：
標(biāo)準(zhǔn)差和均值的量綱即單位是一致的，在描述一個(gè)波動(dòng)范圍時(shí)標(biāo)準(zhǔn)差比方差更方便烁登。
3. 均方誤差（mean-square error, MSE）：各數(shù)據(jù)偏離真實(shí)值差值的平方和 的平均數(shù)怯屉。
維基百科中定義的公式如下：
MSE =?
為真實(shí)值，
為預(yù)測(cè)值或者估計(jì)值
在回歸問(wèn)題中饵沧，MSE可以不除以n锨络，但是需要在迭代w和b的時(shí)候，梯度除以n狼牺，或者學(xué)習(xí)率除以n都可以羡儿。
