什么是正則化？為什么要正則化描姚？怎樣正則化涩赢？
對正則化化一直不是十分理解，只知道正則化可以防止過擬合轩勘。為什么給loss增加一個正則化就可以防止過擬合筒扒，說說我自己的理解。
當針對一個實際問題完成機器學習模型的建立后绊寻，需要求解模型的參數(shù)花墩。由于復雜模型的參數(shù)沒有解析解，所以建立一個損失函數(shù)榛斯，通過最大似然估計等方法求解損失函數(shù)為最小值時的模型參數(shù)观游。模型越復雜（非線性相關的向量越多），越可以表達原始數(shù)據(jù)的更多特征驮俗。當學習過多訓練集特有特征時懂缕，模型就會出現(xiàn)過擬合現(xiàn)象（對測試數(shù)據(jù)的共有特征不敏感）。由于原始數(shù)據(jù)固有特征無法改變王凑，所以可以通過損失函數(shù)來限制待求解的模型參數(shù)（減小非線性相關向量的數(shù)量）搪柑，來減小模型可以學習特征的數(shù)量聋丝。為損失函數(shù)增加正則化，可以在一定程度上減小非線性相關向量的數(shù)量工碾。
為什么增加正則化可以減小非線性相關向量的數(shù)量呢弱睦？因為增加一個正則化后，目標函數(shù)變?yōu)閾p失函數(shù)和正則化的和渊额。求目標函數(shù)為最小值時的模型參數(shù)况木，通常在損失函數(shù)和正則化的相交線上。這個相交線對損失函數(shù)的非線性相關的向量起到一個限制作用旬迹，使非線性相關向量的數(shù)量減少火惊。
