本文來(lái)自《動(dòng)手學(xué)習(xí)深度學(xué)習(xí)》附錄
本文總結(jié)了本書中涉及的有關(guān)線性代數(shù)避乏、微分和概率的基礎(chǔ)知識(shí)。
線性代數(shù)
下面分別概括了向量资柔、矩陣焙贷、運(yùn)算、范數(shù)贿堰、特征向量和特征值的概念辙芍。
向量
本書中的向量指的是列向量。一個(gè)維向量
的表達(dá)式可寫成
其中是向量的元素羹与。我們將各元素均為實(shí)數(shù)的
維向量
記作
或
沸手。
矩陣
一個(gè)行
列矩陣的表達(dá)式可寫成
其中是矩陣
中第
行第
列的元素(
)。我們將各元素均為實(shí)數(shù)的
行
列矩陣
記作
注簿。不難發(fā)現(xiàn)契吉,向量是特殊的矩陣。
運(yùn)算
設(shè)維向量
中的元素為
诡渴,
維向量
中的元素為
菲语。向量
與
的點(diǎn)乘(內(nèi)積)是一個(gè)標(biāo)量:
設(shè)兩個(gè)行
列矩陣
矩陣的轉(zhuǎn)置是一個(gè)
行
列矩陣山上,它的每一行其實(shí)是原矩陣的每一列:
兩個(gè)相同形狀的矩陣的加法是將兩個(gè)矩陣按元素做加法:
我們使用符號(hào)表示兩個(gè)矩陣按元素做乘法的運(yùn)算:
定義一個(gè)標(biāo)量。標(biāo)量與矩陣的乘法也是按元素做乘法的運(yùn)算:
其他諸如標(biāo)量與矩陣按元素相加英支、相除等運(yùn)算與上式中的相乘運(yùn)算類似佩憾。矩陣按元素開根號(hào)、取對(duì)數(shù)等運(yùn)算也就是對(duì)矩陣每個(gè)元素開根號(hào)干花、取對(duì)數(shù)等妄帘,并得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同池凄。設(shè)為
行
列的矩陣抡驼,
為
行
列的矩陣。兩個(gè)矩陣相乘的結(jié)果
是一個(gè)行
列的矩陣肿仑,其中第
行第
列(
)的元素為
范數(shù)
設(shè)維向量
中的元素為
致盟。向量
的
范數(shù)為
例如,的
范數(shù)是該向量元素絕對(duì)值之和:
而的
范數(shù)是該向量元素平方和的平方根:
我們通常用指代
尤慰。
設(shè)是一個(gè)
行
列矩陣馏锡。矩陣
的Frobenius范數(shù)為該矩陣元素平方和的平方根:
其中為矩陣
在第
行第
列的元素。
特征向量和特征值
對(duì)于一個(gè)行
列的矩陣
伟端,假設(shè)有標(biāo)量
和非零的
維向量
使
那么是矩陣
的一個(gè)特征向量眷篇,標(biāo)量
是
對(duì)應(yīng)的特征值。
微分
我們?cè)谶@里簡(jiǎn)要介紹微分的一些基本概念和演算荔泳。
導(dǎo)數(shù)和微分
假設(shè)函數(shù)的輸入和輸出都是標(biāo)量蕉饼。函數(shù)
的導(dǎo)數(shù)
且假定該極限存在。給定玛歌,其中
和
分別是函數(shù)
的自變量和因變量昧港。以下有關(guān)導(dǎo)數(shù)和微分的表達(dá)式等價(jià):
其中符號(hào)和
也叫微分運(yùn)算符。常見的微分演算有
(
為常數(shù))支子、
(
為常數(shù))创肥、
、
等值朋。
如果函數(shù)和
都可導(dǎo)叹侄,設(shè)
為常數(shù),那么
如果和
都是可導(dǎo)函數(shù)昨登,依據(jù)鏈?zhǔn)椒▌t趾代,
泰勒展開
函數(shù)的泰勒展開式是
其中為函數(shù)
的
階導(dǎo)數(shù)(求
次導(dǎo)數(shù)),
為
的階乘丰辣。假設(shè)
是一個(gè)足夠小的數(shù)撒强,如果將上式中
和
分別替換成
和
禽捆,可以得到
由于足夠小,上式也可以簡(jiǎn)化成
偏導(dǎo)數(shù)
設(shè)為一個(gè)有
個(gè)自變量的函數(shù)飘哨,
胚想,它有關(guān)第
個(gè)變量
的偏導(dǎo)數(shù)為
以下有關(guān)偏導(dǎo)數(shù)的表達(dá)式等價(jià):
為了計(jì)算,只需將
視為常數(shù)并求
有關(guān)
的導(dǎo)數(shù)芽隆。
梯度
假設(shè)函數(shù)的輸入是一個(gè)
維向量
浊服,輸出是標(biāo)量。函數(shù)
有關(guān)
的梯度是一個(gè)由
個(gè)偏導(dǎo)數(shù)組成的向量:
為表示簡(jiǎn)潔胚吁,我們有時(shí)用代替
牙躺。
假設(shè)是一個(gè)向量,常見的梯度演算包括
類似地囤采,假設(shè)是一個(gè)矩陣,那么
海森矩陣
假設(shè)函數(shù)的輸入是一個(gè)
維向量
惩淳,輸出是標(biāo)量蕉毯。假定函數(shù)
所有的二階偏導(dǎo)數(shù)都存在,
的海森矩陣
是一個(gè)
行
列的矩陣:
其中二階偏導(dǎo)數(shù)
概率
最后思犁,我們簡(jiǎn)要介紹條件概率代虾、期望和均勻分布。
條件概率
假設(shè)事件和事件
的概率分別為
和
激蹲,兩個(gè)事件同時(shí)發(fā)生的概率記作
或
棉磨。給定事件
,事件
的條件概率
也就是說(shuō)学辱,
當(dāng)滿足
時(shí)乘瓤,事件和事件
相互獨(dú)立。
期望
離散的隨機(jī)變量的期望(或平均值)為
均勻分布
假設(shè)隨機(jī)變量服從
上的均勻分布策泣,即
衙傀。隨機(jī)變量
取
和
之間任意一個(gè)數(shù)的概率相等。