在報名AI編程課之前耕蝉，最擔(dān)心的就是數(shù)學(xué)，雖然中學(xué)時還算是個好學(xué)生夜只，高考數(shù)學(xué)成績也不錯垒在，但因為本科建筑學(xué)，對數(shù)學(xué)要求不高扔亥，相當(dāng)于工科中的文科场躯。別的專業(yè)高等數(shù)學(xué)要學(xué)一年，我們只學(xué)了半個學(xué)期旅挤，還沒弄懂微積分怎么回事踢关，就以77分的成績告別了。
后來出國跨專業(yè)學(xué)計算機粘茄，操作系統(tǒng)签舞，數(shù)據(jù)結(jié)構(gòu)，網(wǎng)絡(luò)編程柒瓣、數(shù)據(jù)庫等課程還好對付儒搭，在選學(xué)3D計算機圖形時，數(shù)學(xué)就成了攔路虎芙贫，當(dāng)時是惡補了一通搂鲫，現(xiàn)在又都還給老師了。所以這次從課程一開始就很忐忑屹培，不知線性代數(shù)會以什么面貌出現(xiàn)。
前兩天說到線性代數(shù)的學(xué)習(xí)怔檩，視頻課程比較容易褪秀，當(dāng)時是大大舒了一口氣，以為不過如此薛训，但是開始項目作業(yè)媒吗，才發(fā)現(xiàn)很多超出視頻講解的概念，每一個TODO都要花費很多時間乙埃，有些TODO最終完成不過幾行代碼闸英，但為了理解涉及的概念锯岖，卻需要查看多個博客文章、文檔甫何，相互比照出吹，才能理解一點點，可以說辙喂，這次的項目過程就像走泥濘的草地捶牢，走一步陷一步，不過好在陽光底下沒有新鮮事巍耗，本來也是基礎(chǔ)的課程秋麸，網(wǎng)上不缺相關(guān)的內(nèi)容，完成TODO 只是需要多點時間和耐心炬太。
這次遇到范數(shù)的概念灸蟆，是之前完全沒接觸過的，網(wǎng)上找了很多介紹亲族，下面這篇感覺比較全面也好理解炒考，備忘：
作者：火貪三刀
來源：CSDN
原文：https://blog.csdn.net/shijing_0214/article/details/51757564
什么是范數(shù)？
我們知道距離的定義是一個寬泛的概念孽水，只要滿足非負(fù)票腰、自反、三角不等式就可以稱之為距離女气。范數(shù)是一種強化了的距離概念杏慰，它在定義上比距離多了一條數(shù)乘的運算法則。有時候為了便于理解炼鞠，我們可以把范數(shù)當(dāng)作距離來理解缘滥。
在數(shù)學(xué)上，范數(shù)包括向量范數(shù)和矩陣范數(shù)谒主，向量范數(shù)表征向量空間中向量的大小朝扼，矩陣范數(shù)表征矩陣引起變化的大小。一種非嚴(yán)密的解釋就是霎肯，對應(yīng)向量范數(shù)擎颖，向量空間中的向量都是有大小的，這個大小如何度量观游，就是用范數(shù)來度量的搂捧，不同的范數(shù)都可以來度量這個大小，就好比米和尺都可以來度量遠(yuǎn)近一樣懂缕；對于矩陣范數(shù)允跑，學(xué)過線性代數(shù)，我們知道，通過運算AX=BAX=B聋丝，可以將向量X變化為B索烹，矩陣范數(shù)就是來度量這個變化大小的。
這里簡單地介紹以下幾種向量范數(shù)的定義和含義
1弱睦、 L-P范數(shù)
與閔可夫斯基距離的定義一樣百姓，L-P范數(shù)不是一個范數(shù)，而是一組范數(shù)每篷，其定義如下：
根據(jù)P 的變化瓣戚，范數(shù)也有著不同的變化，一個經(jīng)典的有關(guān)P范數(shù)的變化圖如下：
上圖表示了p從無窮到0變化時焦读，三維空間中到原點的距離（范數(shù)）為1的點構(gòu)成的圖形的變化情況子库。以常見的L-2范數(shù)（p=2）為例，此時的范數(shù)也即歐氏距離矗晃，空間中到原點的歐氏距離為1的點構(gòu)成了一個球面仑嗅。
實際上，在0≤p<1≤p<1時张症，Lp并不滿足三角不等式的性質(zhì)仓技，也就不是嚴(yán)格意義下的范數(shù)。以p=0.5俗他，二維坐標(biāo)(1,4)脖捻、(4,1)、(1,9)為例兆衅，
因此這里的L-P范數(shù)只是一個概念上的寬泛說法地沮。
2、L0范數(shù)
當(dāng)P=0時羡亩，也就是L0范數(shù)摩疑，由上面可知，L0范數(shù)并不是一個真正的范數(shù)畏铆，它主要被用來度量向量中非零元素的個數(shù)雷袋。用上面的L-P定義可以得到的L-0的定義為：
這里就有點問題了，我們知道非零元素的零次方為1辞居，但零的零次方楷怒，非零數(shù)開零次方都是什么鬼，很不好說明L0的意義瓦灶，所以在通常情況下鸠删，大家都用的是：
表示向量xx中非零元素的個數(shù)。
對于L0范數(shù)倚搬，其優(yōu)化問題為：
在實際應(yīng)用中冶共，由于L0范數(shù)本身不容易有一個好的數(shù)學(xué)表示形式乾蛤，給出上面問題的形式化表示是一個很難的問題每界，故被人認(rèn)為是一個NP難問題捅僵。所以在實際情況中，L0的最優(yōu)問題會被放寬到L1或L2下的最優(yōu)化眨层。
3庙楚、L1范數(shù)
L1范數(shù)是我們經(jīng)常見到的一種范數(shù)，它的定義如下：
表示向量x中非零元素的絕對值之和趴樱。
L1范數(shù)有很多的名字馒闷，例如我們熟悉的曼哈頓距離、最小絕對誤差等叁征。使用L1范數(shù)可以度量兩個向量間的差異纳账，如絕對誤差和（Sum of Absolute Difference）：
對于L1范數(shù)，它的優(yōu)化問題如下：
由于L1范數(shù)的天然性質(zhì)捺疼，對L1優(yōu)化的解是一個稀疏解疏虫，因此L1范數(shù)也被叫做稀疏規(guī)則算子。通過L1可以實現(xiàn)特征的稀疏啤呼，去掉一些沒有信息的特征卧秘，例如在對用戶的電影愛好做分類的時候，用戶有100個特征官扣，可能只有十幾個特征是對分類有用的翅敌，大部分特征如身高體重等可能都是無用的，利用L1范數(shù)就可以過濾掉惕蹄。
4蚯涮、L2范數(shù)
L2范數(shù)是我們最常見最常用的范數(shù)了，我們用的最多的度量距離歐氏距離就是一種L2范數(shù)焊唬，它的定義如下：
表示向量元素的平方和再開平方
像L1范數(shù)一樣恋昼，L2也可以度量兩個向量間的差異，如平方差和（Sum of Squared Difference）:
對于L2范數(shù)赶促，它的優(yōu)化問題如下：
L2范數(shù)通常會被用來做優(yōu)化目標(biāo)函數(shù)的正則化項液肌，防止模型為了迎合訓(xùn)練集而過于復(fù)雜造成過擬合的情況，從而提高模型的泛化能力鸥滨。
5嗦哆、L-∞范數(shù)∞范數(shù)
當(dāng)P=∞∞時，也就是L-∞∞范數(shù)婿滓，它主要被用來度量向量元素的最大值老速。用上面的L-P定義可以得到的L∞∞的定義為：
與L0一樣，在通常情況下凸主，大家都用的是：
---------------------
原文：https://blog.csdn.net/shijing_0214/article/details/51757564
版權(quán)聲明：轉(zhuǎn)載請附上原博文鏈接橘券！
