幾乎所有的科學(xué)觀察都著了魔似的向平均值回歸——《女士品茶》
什么是線性回歸
線性回歸這個概念是由達(dá)爾文的表弟高爾頓在研究父代與子代身高關(guān)系的時候提出的娃惯，我第一次看到這四個字的時候，心中暗罵减细，這起的什么破名豫缨，一點(diǎn)都不直觀。什么叫線性？什么叫回歸？你在進(jìn)行什么騷操作啊淹朋。然而這兩個概念其實(shí)準(zhǔn)確表達(dá)了該算法的核心思想，只要解釋明白了這兩個概念列林，我們就搞明白了線性回歸。
線性
高爾頓搜集了1078對父親及其兒子的身高數(shù)據(jù)酪惭，用于研究其兩者的關(guān)系希痴，他畫出了該組數(shù)據(jù)的散點(diǎn)圖，發(fā)現(xiàn)這些樣本點(diǎn)看起來分布在某條直線的周圍春感，因此他使用一條直線來擬合這些樣本點(diǎn)砌创。
這也就是線性最初的意思：所有的樣本點(diǎn)可以近似的用一條直線來表示。
回歸
高爾頓在畫出直線后鲫懒，對這些數(shù)據(jù)進(jìn)行了深入的分析嫩实，最終發(fā)現(xiàn)了一個很有趣的現(xiàn)象。他發(fā)現(xiàn)當(dāng)父親高于平均身高時窥岩，他們的兒子更可能比他矮甲献；而當(dāng)父親矮于平均身高時，他們的兒子身高更可能比他高颂翼。他稱這種現(xiàn)象為回歸現(xiàn)象晃洒。
參考上圖：
只看x軸，我們可以簡單的估計(jì)一下朦乏，父親們的平均身高大概在68左右球及。然后看上圖中標(biāo)黃的部分，身高為64左右的父親們呻疹，他們的兒子身高均值為67.1吃引，普遍比父親要高，向著均值68的方向貼近刽锤。再看綠色部分镊尺，身高為72左右的父親們，兒子們的身高均值為70.9并思，普遍比父親矮鹅心，向著均值68的方向貼近。
高爾頓將這種子代身高向著父輩的平均身高靠攏的現(xiàn)象稱為回歸效應(yīng)纺荧。他還說旭愧，如果不向著均值的方向回歸颅筋，高個子的后代更高，矮的更矮的話输枯，用不了幾代议泵，我們?nèi)祟惥涂梢苑至殉蓛蓚€種族——巨人族和矮人族了。不僅身高如此桃熄，
幾乎所有的科學(xué)觀察都著了魔似的向平均值回歸先口，這個世界觀可以幫我們理解一些荒唐的問題：人類的身高不可能一直越來越高。人類的舉重能力不可能越來越大瞳收〉锞基因突變不會一直累積，所以變種人不會出現(xiàn)螟深。行尸走肉里那種全球瘟疫不會發(fā)生谐宙。帥氣的爺爺和爸爸，不一定有帥氣的孫子界弧。富不過三代凡蜻。大自然（或者人類社會）以其神秘的力量和節(jié)奏調(diào)節(jié)著地球萬物的秩序」富——機(jī)器學(xué)習(xí)入門公眾號
和機(jī)器學(xué)習(xí)有什么關(guān)系划栓？
最后高爾頓一通計(jì)算得到了擬合直線的表達(dá)式：
$$
y=33.73+0.516x
$$
其中x代表父輩的身高。
戲說：高爾頓把（33.73条获，0.516）這一對數(shù)字賣給算命先生A忠荞，告訴A，以后你也別算命了帅掘，支個攤子钻洒，叫算高先生，幫別人算孩子以后能長多高吧锄开。讓顧客告訴你他們的身高素标，然后代到上面的式子里算一下，結(jié)果就是他們孩子的身高萍悴。別說头遭，這樣算出來的結(jié)果雖然不百分百準(zhǔn)確，但是八九不離十癣诱。因此A先生的算高攤子備受好評计维。
上面這個瞎編的故事，就是線性回歸與機(jī)器學(xué)習(xí)的關(guān)系撕予。線性回歸是一種機(jī)器學(xué)習(xí)的方法鲫惶，可以根據(jù)訓(xùn)練集（高爾頓收集的1078組身高數(shù)據(jù)）訓(xùn)練得到一組參數(shù)（33.73，0.516）实抡，之后利用該參數(shù)來預(yù)測結(jié)果（A先生做的事）欠母。所以線性回歸的根本問題就是通過已有訓(xùn)練集的數(shù)據(jù)欢策，得到線性模型的一組參數(shù)。
總結(jié)
我們總說機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)赏淌，機(jī)器到底是從什么地方踩寇，學(xué)到了什么呢？線性回歸這個特別基本的方法就很好的回答了這個問題——從一堆樣本點(diǎn)里面學(xué)到了一組參數(shù)六水。我想這種直觀的特點(diǎn)可以解釋為什么幾乎所有機(jī)器學(xué)習(xí)的書和教程上手的第一個算法是線性回歸俺孙。
最后，本篇文章是從我個人的博客上面搬運(yùn)過來的掷贾，主要參照reference中的文章書寫而來睛榄。簡書的公式功能實(shí)在不好用，后面幾天改天再搬運(yùn)吧想帅。
本人水平有限场靴，機(jī)器學(xué)習(xí)也是才入門的水平，難免有謬誤博脑，歡迎大家指正憎乙。
Reference
《線性回歸：機(jī)器學(xué)習(xí)史上最大命名錯案》——機(jī)器學(xué)習(xí)入門微信公眾號
