線性相關(guān)芦圾、生成子空間蛾派。

逆矩陣A?-1?存在，Ax=b 每個(gè)向量b恰好存在一個(gè)解个少。方程組洪乍，向量b某些值，可能不存在解夜焦，或者存在無(wú)限多個(gè)解壳澳。x、y是方程組的解茫经，z=αx+(1-α)巷波，α取任意實(shí)數(shù)萎津。

A列向量看作從原點(diǎn)(origin，元素都是零的向量)出發(fā)的不同方向抹镊，確定有多少種方法到達(dá)向量b锉屈。向量x每個(gè)元素表示沿著方向走多遠(yuǎn)。xi表示沿第i個(gè)向量方向走多遠(yuǎn)垮耳。Ax=sumixiA:,i颈渊。線性組合(linear combination)。一組向量線性組合终佛，每個(gè)向量乘以對(duì)應(yīng)標(biāo)量系數(shù)的和俊嗽。sumiciv?i?。一組向量的生成子空間(span)是原始向量線性組合后能抵達(dá)的點(diǎn)的集合铃彰。確定Ax=b是否有解绍豁，相當(dāng)于確定向量b是否在A列向量的生成子空間中。A的列空間(column space)或A的值域(range)牙捉。方程Ax=b對(duì)任意向量b∈??m?都存在解竹揍，要求A列空間構(gòu)成整個(gè)??m?。??m?點(diǎn)不在A列空間邪铲，對(duì)應(yīng)b使方程沒(méi)有解鬼佣。矩陣A列空間是整個(gè)??m?的要求，A至少有m列霜浴，n>=m。否則蓝纲，A列空間維數(shù)小于m阴孟。

列向量冗余為線性相關(guān)(linear dependence)税迷。一組向量任意一個(gè)向量都不能表示成其他向量的線性組合，線性無(wú)關(guān)(linearly independent)箭养。某個(gè)向量是一組向量中某些向量的線性組合，這個(gè)向量加入這組向量不會(huì)增加這組向量的生成子空間毕泌。一個(gè)矩陣列空間涵蓋整個(gè)??m?，矩陣必須包含一組m個(gè)線性無(wú)關(guān)的向量撼泛。是Ax=b 對(duì)每個(gè)向量b取值都有解充分必要條件挠说。向量集只有m個(gè)線性無(wú)關(guān)列向量，不是至少m個(gè)愿题。不存在一個(gè)m維向量集合有多于m個(gè)彼此線性不相關(guān)列向量损俭，一個(gè)有多于m個(gè)列向量矩陣有可能有不止一個(gè)大小為m的線性無(wú)關(guān)向量集蛙奖。

矩陣可逆，要保證Ax=b 對(duì)每個(gè)b值至多有一個(gè)解杆兵。要確保矩陣至多有m個(gè)列向量雁仲。矩陣必須是一個(gè)方陣(square)，m=n琐脏，且所有列向量線性無(wú)關(guān)攒砖。一個(gè)列向量線性相關(guān)方陣為奇異的(singular)。矩陣不是方陣或是奇異方陣骆膝，方程可能有解祭衩，但不能用矩陣逆求解。逆矩陣右乘AA?-1?=I阅签。左逆掐暮、右逆相等。

范數(shù)(norm)政钟。

衡量向量大小路克。L?p?：||x||p=(sumi|xi|?p?)?1/p?。p∈?养交，p>=1精算。范數(shù)(L?p?范數(shù))，向量映射到非負(fù)值函數(shù)碎连。向量x范數(shù)衡量從原點(diǎn)到點(diǎn)x距離灰羽。范數(shù)滿足性質(zhì)，f(x)=0=>x=0鱼辙，f(x+y)<=f(x)+f(y)三解不等式(triangel inequality)廉嚼，?α∈? f(αx)=|α|f(x)。

p=2倒戏，L?2?范數(shù)稱歐幾里得范數(shù)(Euclidean norm)怠噪。表示從原點(diǎn)出發(fā)到向量x確定點(diǎn)的歐幾里得距離。簡(jiǎn)化||x||杜跷，略去下標(biāo)2傍念。平方L?2? 范數(shù)衡量向量大小，通過(guò)點(diǎn)積x?x計(jì)算葛闷。平方L?2?范數(shù)在數(shù)學(xué)憋槐、計(jì)算上比L?2?范數(shù)更方便。平方L?2?范數(shù)對(duì)x中每個(gè)元素的導(dǎo)數(shù)只取決對(duì)應(yīng)元素淑趾。L?2?范數(shù)對(duì)每個(gè)元素的導(dǎo)數(shù)和整個(gè)向量相關(guān)秦陋。平方L?2?范數(shù)，在原點(diǎn)附近增長(zhǎng)緩慢治笨。

L?1?范數(shù)驳概，在各個(gè)位置余率相同赤嚼，保持簡(jiǎn)單數(shù)學(xué)形式。||x||1=sumi|xi|更卒。機(jī)器學(xué)習(xí)問(wèn)題中零和非零差異重要蹂空，用L?1?范數(shù)果录。當(dāng)x中某個(gè)元素從0增加?，對(duì)應(yīng)L?1?范數(shù)也增加?辨萍。向量縮放α倍不會(huì)改變?cè)撓蛄糠橇阍財(cái)?shù)目锈玉。L?1?范數(shù)常作為表示非零元素?cái)?shù)目替代函數(shù)义起。

L?∞?范數(shù)，最大范數(shù)(max norm)默终。表示向量具有最大幅值元素絕對(duì)值齐蔽，||x||?∞?=maxi|xi|。

Frobenius范數(shù)(Frobenius norm)，衡量矩陣大小蛙吏。||A||F=sqrt(sumi,jA?2??i,j?)。

兩個(gè)向量點(diǎn)積用范數(shù)表示鸦做，x?y=||x||2||y||2cosθ泼诱，θ表示x赊锚、y間夾角屉栓。

特殊類型矩陣友多、向量堤框。

對(duì)角矩陣(diagonal matrix)蜈抓，只在主對(duì)角線上有非零元素，其他位置都是零沟使。對(duì)角矩陣格带，當(dāng)且僅當(dāng)對(duì)于所有i != j，Di,j=0屈呕。單位矩陣棺亭，對(duì)角元素全部是1。

diag(v)表示對(duì)角元素由向量v中元素給定一個(gè)對(duì)角方陣嗽桩。對(duì)角矩陣乘法計(jì)算高效碌冶。計(jì)算乘法diag(v)x涝缝，x中每個(gè)元素xi放大vi倍。diag(v)x=v⊙x罐氨。計(jì)算對(duì)角方陣的逆矩陣很高效栅隐。對(duì)角方陣的逆矩陣存在，當(dāng)且僅當(dāng)對(duì)角元素都是非零值谨究，diag(v)?-1?=diag([1/v1,…,1/vn]?)恰矩。根據(jù)任意矩陣導(dǎo)出通用機(jī)器學(xué)習(xí)算法外傅。通過(guò)將矩陣限制為對(duì)象矩陣，得到計(jì)算代價(jià)較低(簡(jiǎn)單扼要)算法碾盟。

并非所有對(duì)角矩陣都是方陣技竟。長(zhǎng)方形矩陣也有可能是對(duì)角矩陣。非方陣的對(duì)象矩陣沒(méi)有逆矩陣熙尉，但有高效計(jì)算乘法检痰。長(zhǎng)方形對(duì)角矩陣D锨推，乘法Dx涉及x每個(gè)元素縮放。D是瘦長(zhǎng)型矩陣椎椰，縮放后末尾添加零。D是胖寬型矩陣慨飘，縮放后去掉最后元素译荞。

對(duì)稱(symmetric)矩陣磁椒，轉(zhuǎn)置和自己相等矩陣玫芦。A=A?。不依賴參數(shù)順序雙參數(shù)函數(shù)生成元素慎皱，對(duì)稱矩陣常出現(xiàn)叶骨。A是矩離度量矩陣忽刽，Ai,j表示點(diǎn)i到點(diǎn)j距離携悯，Ai,j=Aj,i。距離函數(shù)對(duì)稱狐粱。

單位向量(unit vector)斑唬，具有單位范數(shù)(unit norm)向量恕刘。||x||2=1褐着。

x?y=0衡便，向量x和向量y互相正交(orthogonal)。兩個(gè)向量都有非零范數(shù)谴餐，兩個(gè)向量間夾角90°岂嗓。??至多有n個(gè)范數(shù)非零向量互相正交厌殉。向量不但互相正交侈咕，且范數(shù)為1,標(biāo)準(zhǔn)正交(orthonorma)耀销。

正交矩陣(orthogonal matrix)，行向量和列向量是分別標(biāo)準(zhǔn)正交方陣罐柳。 A?A=AA?=I张吉，A?-1?=A?。正交矩陣求逆計(jì)算代價(jià)小肮蛹。正交矩陣行向量不僅正交蔗崎，還標(biāo)準(zhǔn)正交。行向量或列向量互相正交但不標(biāo)準(zhǔn)正交矩陣缓苛，沒(méi)有對(duì)應(yīng)專有術(shù)語(yǔ)芳撒。

參考資料：
《深度學(xué)習(xí)》

歡迎推薦上海機(jī)器學(xué)習(xí)工作機(jī)會(huì)，我的微信：qingxingfengzi

我有一個(gè)微信群冬耿，歡迎一起學(xué)深度學(xué)習(xí)亦镶。