線(xiàn)性代數(shù)是深度學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)端三，學(xué)習(xí)深度學(xué)習(xí)之前必須掌握線(xiàn)性代數(shù)的相關(guān)知識(shí)情萤。線(xiàn)性代數(shù)的內(nèi)容是抽象的宾抓，本文旨在用直觀(guān)易懂的語(yǔ)言解釋線(xiàn)性代數(shù)中的相關(guān)概念饵较。同時(shí)玲销，學(xué)習(xí)不僅是記憶土辩，而且需要思考支救。我在寫(xiě)作時(shí)會(huì)適時(shí)插入一些思考導(dǎo)向的內(nèi)容，幫助大家更深的掌握概念拷淘。
如果需要深入學(xué)習(xí)線(xiàn)性代數(shù)各墨，這里推薦：
- 線(xiàn)性代數(shù)機(jī)器應(yīng)用(David C. Lay, 2007)
- The Matrix Cookbook(Petersen, 2012)
Chapter 2 線(xiàn)性代數(shù)基礎(chǔ)
1 張量
張量(tensor)是神經(jīng)網(wǎng)絡(luò)運(yùn)算圖中傳遞的基本運(yùn)算單位。張量中的元素分布在若干維度的空間中启涯，常見(jiàn)張量類(lèi)型為：
- 0D（維）張量：標(biāo)量贬堵。一個(gè)標(biāo)量就是一個(gè)單獨(dú)的數(shù)。常用斜體小寫(xiě)字母表示结洼，如
黎做。
- 1D張量：向量。一個(gè)向量是一組有序的數(shù)补君，其中的每個(gè)元素通過(guò)一個(gè)索引（代表在向量中的次序）確定引几。通常用斜體加粗的小寫(xiě)字母表示，如：
- 2D張量：矩陣挽铁。矩陣是一個(gè)二維數(shù)組伟桅，其中的每個(gè)元素通過(guò)兩個(gè)索引（行,列）確定。一般用粗體大寫(xiě)字母表示叽掘，表示楣铁，如：
- 多維張量。一般用粗體大寫(xiě)字母更扁，如
表示盖腕。
記作
。
2 矩陣運(yùn)算
矩陣中常見(jiàn)的一些運(yùn)算浓镜，如點(diǎn)積溃列、數(shù)乘、轉(zhuǎn)置等概念作為線(xiàn)性代數(shù)的基礎(chǔ)知識(shí)就不再贅述了膛薛。在此介紹一些線(xiàn)代課本中沒(méi)有的概念性質(zhì)听隐。
需要說(shuō)明的是，一般情況下哄啄，向量為行向量雅任，向量的轉(zhuǎn)置為列向量风范。
- 廣播
一個(gè)矩陣與一個(gè)向量相加可以表示為：
其中：
即向量與
的每一行相加硼婿。
如果你熟悉兩個(gè)矩陣相加的運(yùn)算，可以發(fā)現(xiàn)在實(shí)際計(jì)算中禽车，其實(shí) - 范數(shù)
范數(shù)是將向量映射到非負(fù)值的函數(shù)钦勘。范數(shù)的定義如下：
其中范數(shù)被簡(jiǎn)寫(xiě)為
陋葡。
最大范數(shù)，表示向量中最大元素的絕對(duì)值：
3 線(xiàn)性相關(guān)
線(xiàn)性組合(linear combination)
對(duì)每個(gè)向量都數(shù)乘一個(gè)系數(shù)彻采，這種操作被稱(chēng)為線(xiàn)性組合：
生成子空間（張成空間, span）
一組向量的生成子空間腐缤，是原始向量線(xiàn)性組合后所能抵達(dá)的點(diǎn)的集合，即線(xiàn)性組合后所能覆蓋的空間肛响。如岭粤，向量的生成子空間記作
特笋。
-
線(xiàn)性相關(guān)
一組向量線(xiàn)性相關(guān)剃浇，則說(shuō)明這些向量中至少有一個(gè)向量是其他向量的線(xiàn)性組合：
image -
線(xiàn)性無(wú)關(guān)
理解了線(xiàn)性相關(guān)，那么線(xiàn)性無(wú)關(guān)是顯然的：如果一組向量中任意一個(gè)都不能表示成其他向量的線(xiàn)性組合猎物，那么這組向量線(xiàn)性無(wú)關(guān)虎囚。通俗理解就是，一個(gè)向量不在其他向量的生成子空間中蔫磨。如下圖淘讥，堤如，而
不在此平面中：
image
因此
