要不要點緊吶
20天沒發(fā)文章了，罪過罪過。
深夜了帘腹，就簡單寫一下今天了解到的一點關于Linear Regression的內容。
什么是Linear Regression聘萨，具體怎么Regression竹椒，什么θ0 + θ1x1 + θ2x2，什么梯度下降的米辐，（包括下圖中1/m∑(...)x是怎么來的）沒什么意思胸完，就不再贅述。
稍微需要注意的是下圖中所示的 θ是如何在訓練中被更新的翘贮，也就是梯度下降的具體公式赊窥。
看上去每一個 θ的更新方式都相同，只有細微的差別狸页，具體是在求1/2m∑(...)2這個式子對不同的 θ進行偏導時的不同锨能，對哪個 θ求偏導，那個 θ的系數就會留下來芍耘，會微積分的同學們都應該明白址遇。
而在實際情況中，訓練集中的各種特征的特征值范圍一般是不同的斋竞，例如預測房屋價格中倔约，房屋面積的值的范圍可能在1到1000，房屋年齡卻僅僅是1到10坝初，這樣會造成什么樣的情況呢浸剩，見下圖。
繪圖水平有限鳄袍，但是意思到位了绢要，在上述房價預測的例子中有兩個特征，取值范圍相差很遠拗小，可以想象重罪，在θ與這2個特征運算的過程中，房屋面積所占的比重遠遠大于范圍只有1到10的房屋年齡。換句話說蛆封，假設初始的θ為1左右唇礁，乘以1000的影響遠遠大于乘以10的影響。如上圖惨篱，橫縱坐標為兩個特征對應的兩個θ盏筐，圖像為房價預測模型的cost function。圖中紅線表示出梯度下降進度砸讳，可想而知琢融，這樣情況下的梯度下降，進度很慢簿寂。因此這里引出一個叫做Feature Scaling的方法—— 特征縮放漾抬， 簡單來說就是把輸入減去所有輸入的平均值 ，除以輸入值的范圍常遂。從而將不同特征的不同輸入值纳令，全都框在一個差不多的范圍之中。
例如上述1到10的房屋年齡克胳，如果所有值的平均為7年平绩，則將所有的房屋年齡減7，再除以房屋年齡的范圍漠另，1到10年捏雌，則為(10 - 1)。最后的結果是笆搓，(x - 7 )/ (10 - 1) 性湿。
接下來，還是有關梯度下降满败，在正常情況下肤频，cost function的值在每輪迭代都會下降。也就是說如果某一輪或某幾輪或斷斷續(xù)續(xù)地總是上升算墨，就說明訓練一定是出了問題着裹。
看下邊圖中左邊的兩個平面直角坐標系，都是cost function上升或升降夾雜的情況米同，再看右邊的那個坐標系，從右下角的紅點開始進行梯度下降摔竿，可是邁的步子太大面粮，一步走了很遠，不僅沒有下降反而上升了继低，這樣一步一步的熬苍，反而越訓練cost function的值越大。所以怎么辦呢，當然是把步子邁小一點柴底。因此我們把learning rate改小婿脸。
而大家也知道，步子太小柄驻，走得就很慢狐树，所以找一個合適的learning rate也是很必要的事情。這需要在實踐中得到經驗鸿脓。我認為抑钟，先要找一個可以正常梯度下降的最大的learning rate，這樣首先可以保證梯度可以正常地下降野哭，其次訓練速度也不會慢在塔；但是這樣意味著無法接近到cost function的最小值。在此時梯度逐漸收斂時拨黔，減小learning rate蛔溃，繼續(xù)訓練，然后收斂篱蝇，然后減小learning rate...循環(huán)往復贺待。最終會接近cost function的最小值（同學們，我這加粗部分說的對不對态兴，你們關于學習率的經驗請分享一下吧）
吳恩達也介紹了相關經驗狠持，他是從0.001，0.003瞻润，0.01喘垂，0.03笆檀，...滑进，0.3，1這樣3倍一提升來尋找learning rate悼尾，可以作為實戰(zhàn)中的參考傻铣。
慢著章贞，等等，此時我好像反應過來一些什么非洲，求cost function的最小值鸭限？最小值怎么求，不應該是一階導等于0嗎两踏？讓一階導等于0的θ不就是我們想要的θ嗎败京，還辛苦的梯度下降干啥。
確實梦染，這種方式可以求出來我們要的θ赡麦，并且連求一階導的功夫都省了朴皆，下邊公式可以直接求出來θ。他叫做Normal Equation（標準方程）泛粹。
（其中X是第一列為1遂铡，從第2列起為所有特征值組成的矩陣，就是θ0x0 + θ1x1 + θ2x2中[x0晶姊，x1扒接，x2]這樣的矩陣，x0為全1帽借，Y是label組成的矩陣）
并且這樣求θ都不用上邊講的Feature Scaling呢珠增。
這東西這么好還用梯度下降干啥呢？它真的就是最好的嗎砍艾，請看下表：
從第3行的時間復雜度我們可以看出一些端倪蒂教。在n不大的時候，用上邊的公式確實不錯脆荷。當n也就是特征的數量很大的時候凝垛，Normal Equation的n3的“威力”就會顯現出來了。速度慢蜓谋。
In practice, when n exceeds 10,000 it might be a good time to go from a normal solution to an iterative process.
然而學過線性代數的同學們都知道梦皮，并不是任何一個矩陣都是可逆的，如果一個矩陣不可逆桃焕，Normal Equation的逆矩陣就沒法求剑肯，這個方法也就不能用了。雖然說計算是可以用捷徑計算出來的观堂，見下邊英文...（注：octave類似matlab）
When implementing the normal equation in octave we want to use the 'pinv' function rather than 'inv.' The 'pinv' function will give you a value of θ even if XTX is not invertible.
就是說在octave里編程計算時让网，用pinv函數代替inv函數求逆，就算是不可逆矩陣师痕，也能求出來溃睹。但是是偽逆。
對于無法求逆的矩陣胰坟，一般來說有以下辦法：
雖然說學過線性代數因篇，大部分其實也還給了老師，什么有逆矩陣的充要條件啊笔横，誰還記得竞滓。但是自己想一想，也能有個八九不離十吹缔。例如我的數據集中存在如下兩種特征虽界，平方米面積，平方英尺面積涛菠。這兩個分明就是可以進行換算的，遠看是兩個特征，近看還是兩個特征俗冻，實際上是同一個特征的情況礁叔。這種情況是不是就對應著矩陣中存在線性相關？所以說解決辦法也很簡單迄薄，刪除其中一個特征就好了琅关。
還有一種情況，特征數量多讥蔽，多于訓練樣本數量涣易。同學們想想，我用10條樣本擬合出100個特征冶伞，這可能嗎新症？所以還是刪除一些作用不大的特征吧。我記得在之前哪篇文章里講過篩選特征來著响禽？那個信息增益徒爹？
好了，太晚了芋类，睡了隆嗅。
最后，文章首尾呼應侯繁，強烈推薦一部網劇胖喳，《河神》
參考資料：吳恩達機器學習
如果你也喜歡機器學習，并且也像我一樣在ML之路上努力贮竟，請關注我丽焊，我會進行不定期更新，總有一些可以幫到你坝锰。
部分圖片來自網絡粹懒，部分本人繪制
