3.1 矩陣和向量（Matrices and vectors）

本節(jié)課主要介紹的是矩陣和向量的概念。

矩陣（Matrix）： 由數(shù)字組成的矩形陣列蚜厉，并寫在方括號內(nèi)捐名。如：

圖1 矩陣示例

矩陣維數(shù)（Dimension of matrix） 表示為：矩陣行數(shù)×矩陣列數(shù)，如圖1所示為4×2矩陣，也可表示為：

矩陣元素：即矩陣中的某個特定元素娱据。假設(shè)圖1的矩陣用A表示，則A_ij表示矩陣A中第 i 行、第 j 列的元素朋鞍。如：A₁₂=191。

圖2 4維向量示例

向量：一種特殊的矩陣妥箕，是只有一列的矩陣滥酥，即n×1矩陣，也可稱為n維向量畦幢，如圖2即為一個4維向量坎吻，向量維度符號化表示為：

向量元素：假設(shè)向量用y表示，則其中的第i個元素表示為：y_i宇葱。如圖2中的第2個向量元素表示為：y₂=232瘦真。

向量的下標(biāo)有兩種表示方法：

• 以1開始的下標(biāo)：本課程中一般課程中講解時均采用此種下標(biāo)標(biāo)記方案刊头，這是默認(rèn)向量下標(biāo)標(biāo)記方案。

• 以0開始的下標(biāo)：機(jī)器學(xué)習(xí)算法應(yīng)用時會使用該種下標(biāo)標(biāo)記方案诸尽，在課程中如果使用會明確的說明在什么情況下使用原杂。

矩陣及向量的表示法規(guī)范：

• 通常使用大寫字母來表示矩陣；

• 小寫字母表示向量您机。

3.2 加法和標(biāo)量乘法（Addition and scalar multiplication）

在本節(jié)課中主要介紹矩陣加法穿肄、減法的運算規(guī)則，以及如何進(jìn)行數(shù)和矩陣的乘法（標(biāo)量乘法）际看。

1. 矩陣加法及減法運算規(guī)則：相同維度的矩陣才可以進(jìn)行加咸产、減法運算。運算規(guī)則為：對應(yīng)位置的元素互相加或減仿村，得到的數(shù)值填寫到結(jié)果矩陣的對應(yīng)位置上锐朴。如：

2. 標(biāo)量乘法（Scalar Multiplication）：標(biāo)量指的是數(shù)字或者是實數(shù)，這里指的是實數(shù)蔼囊。標(biāo)量與矩陣相乘得到的結(jié)果是矩陣每個元素與這個標(biāo)量相乘并將乘積填充到對應(yīng)的結(jié)果矩陣位置中焚志。如：

注意：

• 標(biāo)量乘法無論是標(biāo)量乘以矩陣還是矩陣乘以標(biāo)量，其結(jié)果都是相同的畏鼓。

• 標(biāo)量與矩陣相除可以轉(zhuǎn)換為標(biāo)量與矩陣相乘來進(jìn)行計算酱酬。

3.3 矩陣向量乘法（Matrix-vector multiplication）

在本節(jié)課程中，主要講解一個矩陣與一個向量相乘的運算規(guī)則及計算過程云矫。

矩陣與向量相乘要求矩陣的列數(shù)必須與向量的行數(shù)相等膳沽。m×n矩陣與n維向量相乘，得到的結(jié)果為m維向量让禀，如下圖所示：

圖3 矩陣與向量乘法法則示意圖

其中挑社，乘積結(jié)果向量y的任意元素y_i的計算方式為：矩陣A的第 i 行每個元素與向量x的對應(yīng)位置元素相乘，然后將所有乘積求和巡揍。

3.4 矩陣乘法（Matrix-matrix multiplication）

本節(jié)課主要講解兩個矩陣相乘的規(guī)則痛阻。

兩個矩陣相乘要求第一個矩陣的列數(shù)必須與第二個矩陣的行數(shù)相等。m×n矩陣A與n×o矩陣B相乘腮敌，得到的結(jié)果為m×o矩陣 C阱当，如下圖所示：

圖4 兩個矩陣相乘

其中，結(jié)果矩陣C中任意元素C_ij的值計算方法為：矩陣A的第 i 行元素分別與矩陣B第 j 列對應(yīng)元素相乘糜工，然后將所有乘積相加弊添。

3.5 矩陣乘法特性（Matrix multiplication properties）

本節(jié)課主要講解一些矩陣乘法的特性及特殊矩陣如單位矩陣的特性。

• 實數(shù)（或稱為標(biāo)量）乘法滿足交換律捌木，即m×n=n×m油坝。但對于矩陣A和B而言，一般情況下，A×B≠B×A免钻。即矩陣乘法不服從交換律彼水。

• 實數(shù)乘法滿足結(jié)合律，即a×b×c=(a×b)×c=a×(b×c)极舔。矩陣乘法也符合結(jié)合律凤覆，即A×B×C=(A×B)×C=A×(B×C)。

• 單位矩陣：實數(shù)乘法的單位操作為：1×z=z×1=z拆魏。同理盯桦，矩陣向量中也存在單位矩陣，記作 I 或 I_n×n渤刃。單位矩陣的特性：

  • 矩陣對角線上的元素均為1拥峦，其他位置全是0。
  • A·I=I·A=A卖子，其中第一個I的維度與第二個I的維度通常是不一致的略号，他們的維度暗含在上下文中。如假設(shè)A是m×n的矩陣洋闽，則第一個I為n×n的單位矩陣玄柠，而第二個I為m×m的單位矩陣。

3.6 逆和轉(zhuǎn)置（Inverse and transpose）

本節(jié)課主要講解矩陣的逆運算及矩陣的轉(zhuǎn)置運算诫舅。

3.6.1 矩陣的逆運算

大部分實數(shù)m都有一個倒數(shù)m_-1與之對應(yīng)羽利，使得m(m_-1)=1。但數(shù)字0沒有倒數(shù)刊懈，因為分母為0的分?jǐn)?shù)是無意義的这弧。

逆矩陣定義：假設(shè)A是一個m×m的矩陣，并且它有逆矩陣虚汛，記為A^-1匾浪，則
AA^-1=A^-1A=I

只有方陣（即矩陣行數(shù)與列數(shù)相等）才有逆矩陣。但如果矩陣中所有元素為0卷哩，則矩陣依然沒有逆矩陣户矢。

奇異矩陣（singular matrix）：不存在逆矩陣的矩陣稱為奇異矩陣，或稱為退化矩陣（degenerate matrix）殉疼。

對于比較簡單的矩陣，我們可以手工計算矩陣的逆矩陣捌年，但大多數(shù)情況下瓢娜，需要通過軟件來計算一個矩陣的逆矩陣。Octave軟件中內(nèi)置的求逆函數(shù)為inv(A)礼预。

3.6.2 矩陣的轉(zhuǎn)置運算

矩陣A的轉(zhuǎn)置矩陣記為A^T眠砾。轉(zhuǎn)置運算過程為：矩陣A的第 i
行元素變成轉(zhuǎn)置矩陣A^T的第 i 列。

假設(shè)A是一個m×n矩陣托酸，并設(shè)B=A^T褒颈，則B是一個n×m矩陣柒巫，并且B_ij=A_ji。