1. 為什么說regularization是阻止overfitting的好辦法?
overfitting是由high variance導(dǎo)致到逊，high variance 是由特征太多幸撕，特征值過度敏感導(dǎo)致砂缩，regularizer能夠減少特征數(shù)量和降低特征值敏感度阱州，所以說是個(gè)好方法。
模型表現(xiàn)差湖饱，可以因?yàn)槟Ｐ吞舭迨已瑁虉?zhí)；也可以因?yàn)槭悄Ｐ吞S性石挂，太無主見博助；regularizer提供了一個(gè)叫
的旋鈕，調(diào)大能讓模型不要太隨性痹愚，調(diào)小能讓模型不要太呆板富岳。
參考:
一句話版機(jī)器學(xué)習(xí)：為什么說regularization是阻止overfitting的好辦法
圖解機(jī)器學(xué)習(xí)：為什么以及如何用bias variance診斷模型病癥
課程：Diagnosing Bias vs. Variance
筆記：為什么以及如何用bias variance診斷模型病癥
圖解機(jī)器學(xué)習(xí)：為什么說regularizer是模型治療手段（bias variance診斷方式）
課程：Regularization and Bias_Variance
筆記：為什么說regularizer是模型治療手段（bias variance診斷方式）
中期理解整理
李宏毅深度學(xué)習(xí)課程（全2課2017年版）筆記匯總_嗶哩嗶哩 (゜-゜)つロ 干杯~-bilibili
2.16 直觀理解regularization.mp4
3.1 如何直觀理解bias and variance01.mp4
3.2 如何直觀理解bias and variance02.mp4
3.3 如何解決模型的bias過大的問題.mp4
3.4 如何解決variance過高的問題.mp4
早期理解整理
吳恩達(dá)深度學(xué)習(xí)課程（全）：掰開揉碎版
2. 如何直觀理解PCA的目的和原理?
PCA的目的：是對高維數(shù)據(jù)降維度，作為一種技巧參與到模型訓(xùn)練中實(shí)現(xiàn)提升訓(xùn)練速度效率窖式；
PCA的原理：
一方面蚁飒，通過投影projection將高維數(shù)據(jù)投影到線，平面萝喘，3維飒箭，或K維空間上，在設(shè)定保留數(shù)據(jù)結(jié)構(gòu)信息（比如95%）的條件下蜒灰，通過trial and error 篩選出一個(gè)合適的K值弦蹂，來實(shí)現(xiàn)最大化降低維度和最大化保留數(shù)據(jù)信息的博弈（在這里實(shí)現(xiàn)了多個(gè)eigenvectors數(shù)量的確定即K值）；
另一方面强窖，通過比較不同線（平面凸椿，空間）之間的投影距離，選取投影距離之和最短的線作為K=1情況下的最優(yōu)線（在這里完成了eigenvector內(nèi)部值的計(jì)算）;
最后翅溺，K個(gè)eigenvectors組合成一個(gè)matrix脑漫，matrix的transposition對原數(shù)據(jù)做變形，變形后的結(jié)果就是降維后的新數(shù)據(jù)咙崎；如果用同一個(gè)matrix還可以對新數(shù)據(jù)做還原优幸，還原后的數(shù)據(jù)是原數(shù)據(jù)到K維空間上的投射點(diǎn)。
參考:
吳恩達(dá)機(jī)器學(xué)習(xí)PCA的視頻課程和筆記理解
圖解機(jī)器學(xué)習(xí)：為什么要對數(shù)據(jù)做降維和壓縮褪猛，可視化有助于理解壓縮后的維度內(nèi)涵
課程：Motivation I_ Data Compression Motivation II_ Visualization
筆記：為什么要對數(shù)據(jù)做降維和壓縮网杆，可視化有助于理解壓縮后的維度內(nèi)涵
圖解機(jī)器學(xué)習(xí)：如何理解PCA是一種projection降維的最優(yōu)方案以及PCA的算法邏輯
課程：Principal Component Analysis Problem Formulation
課程：Principal Component Analysis Algorithm
筆記：如何理解PCA是一種projection降維的最優(yōu)方案以及PCA的算法邏輯
圖解機(jī)器學(xué)習(xí)：PCA是如何通過K尋找最優(yōu)的降維幅度的
課程：Choosing the Number of Principal Components
筆記：PCA是如何通過K尋找最優(yōu)的降維幅度的
圖解機(jī)器學(xué)習(xí)：如何理解PCA中的U_reduce, x, z, x_approximation的關(guān)系
課程：Reconstruction from Compressed Representation
筆記：如何理解PCA中的U_reduce, x, z, x_approximation的關(guān)系
圖解機(jī)器學(xué)習(xí)：實(shí)際模型訓(xùn)練中如何正確使用PCA和規(guī)避常見錯(cuò)誤用法
課程： Advice for Applying PCA
筆記：實(shí)際模型訓(xùn)練中如何正確使用PCA和規(guī)避常見錯(cuò)誤用法
3. 主成分分析（PCA）主成分維度怎么選擇？
關(guān)于K的內(nèi)涵：PCA目的是降維度伊滋，降維的方法是做投影projection, 假如 [圖片上傳失敗...(image-b49e5c-1537289879749)]
, 那么到底是投影到1維直線上碳却，2維平面上，還是3維空間中笑旺？回答這個(gè)問題昼浦，是K的使命。
關(guān)于K值怎么定：trial and error, 將K=1（直線）筒主，2（平面）关噪，3（空間）。乌妙。使兔。分別帶入到一個(gè)不等式中，選擇那個(gè)最能滿足不等式成立的K值即可冠胯。
關(guān)于這個(gè)不等式：設(shè)定好我們希望PCA保留原有數(shù)據(jù)variance信息的百分比（如95%）火诸，不等式核心內(nèi)容是做最大限度降維與最大化保留數(shù)據(jù)結(jié)構(gòu)信息的博弈。
參考:
一句話版機(jī)器學(xué)習(xí)：PCA的維數(shù)K應(yīng)該怎么選荠察？
圖解機(jī)器學(xué)習(xí)：為什么要對數(shù)據(jù)做降維和壓縮置蜀，可視化有助于理解壓縮后的維度內(nèi)涵
課程：Motivation I_ Data Compression Motivation II_ Visualization
筆記：為什么要對數(shù)據(jù)做降維和壓縮奈搜，可視化有助于理解壓縮后的維度內(nèi)涵
圖解機(jī)器學(xué)習(xí)：如何理解PCA是一種projection降維的最優(yōu)方案以及PCA的算法邏輯
課程：Principal Component Analysis Problem Formulation
課程：Principal Component Analysis Algorithm
筆記：如何理解PCA是一種projection降維的最優(yōu)方案以及PCA的算法邏輯
圖解機(jī)器學(xué)習(xí)：PCA是如何通過K尋找最優(yōu)的降維幅度的
課程：Choosing the Number of Principal Components
筆記：PCA是如何通過K尋找最優(yōu)的降維幅度的
圖解機(jī)器學(xué)習(xí)：如何理解PCA中的U_reduce, x, z, x_approximation的關(guān)系
課程：Reconstruction from Compressed Representation
筆記：如何理解PCA中的U_reduce, x, z, x_approximation的關(guān)系
圖解機(jī)器學(xué)習(xí)：實(shí)際模型訓(xùn)練中如何正確使用PCA和規(guī)避常見錯(cuò)誤用法
課程： Advice for Applying PCA
筆記：實(shí)際模型訓(xùn)練中如何正確使用PCA和規(guī)避常見錯(cuò)誤用法
4. 為什么說PCA不應(yīng)該被用來規(guī)避overfitting?
從overfitting角度看，定義中內(nèi)置了Y值盯荤，Y值的監(jiān)督讓我們看到training loss與validation loss的訓(xùn)練足后次數(shù)后的巨大差異馋吗，巨大差異造就了overfitting；
所以沒有Y值秋秤，就談不上overfitting;
從PCA角度看宏粤，PCA眼里只有特征即X，完全無視Y值灼卢，雖然降維后绍哎，仍保持X極高比例的variance信息，但沒有任何依據(jù)說新生成的低維數(shù)據(jù)能提煉任何與Y值相關(guān)的信息鞋真；
因此崇堰，指望PCA規(guī)避overfitting,邏輯上不成立。
參考: 一句話版機(jī)器學(xué)習(xí)：為什么說PCA不應(yīng)該被用來規(guī)避overfitting?
更多關(guān)于PCA的吳恩達(dá)課程和筆記涩咖，見:
圖解機(jī)器學(xué)習(xí)：為什么要對數(shù)據(jù)做降維和壓縮海诲，可視化有助于理解壓縮后的維度內(nèi)涵
課程：Motivation I_ Data Compression Motivation II_ Visualization
筆記：為什么要對數(shù)據(jù)做降維和壓縮，可視化有助于理解壓縮后的維度內(nèi)涵
圖解機(jī)器學(xué)習(xí)：如何理解PCA是一種projection降維的最優(yōu)方案以及PCA的算法邏輯
課程：Principal Component Analysis Problem Formulation
課程：Principal Component Analysis Algorithm
筆記：如何理解PCA是一種projection降維的最優(yōu)方案以及PCA的算法邏輯
圖解機(jī)器學(xué)習(xí)：PCA是如何通過K尋找最優(yōu)的降維幅度的
課程：Choosing the Number of Principal Components
筆記：PCA是如何通過K尋找最優(yōu)的降維幅度的
圖解機(jī)器學(xué)習(xí)：如何理解PCA中的U_reduce, x, z, x_approximation的關(guān)系
課程：Reconstruction from Compressed Representation
筆記：如何理解PCA中的U_reduce, x, z, x_approximation的關(guān)系
圖解機(jī)器學(xué)習(xí)：實(shí)際模型訓(xùn)練中如何正確使用PCA和規(guī)避常見錯(cuò)誤用法
課程： Advice for Applying PCA
筆記：實(shí)際模型訓(xùn)練中如何正確使用PCA和規(guī)避常見錯(cuò)誤用法
