數(shù)學(xué)基礎(chǔ)
本節(jié)總結(jié)了本書中涉及到的有關(guān)線性代數(shù)、微分和概率的基礎(chǔ)知識(shí)增炭。為避免贅述本書未涉及的數(shù)學(xué)背景知識(shí),本節(jié)中的少數(shù)定義稍有簡化拧晕。
線性代數(shù)
以下分別概括了向量隙姿、矩陣、運(yùn)算厂捞、范數(shù)输玷、特征向量和特征值的概念。
向量
本書中的向量指的是列向量靡馁。一個(gè) 維向量
的表達(dá)式可寫成
其中 是向量的元素欲鹏。我們將各元素均為實(shí)數(shù)的
維向量
記作
或
。
矩陣
一個(gè) 行
列矩陣的表達(dá)式可寫成
其中 是矩陣
中第
行第
列的元素(
)臭墨。我們將各元素均為實(shí)數(shù)的
行
列矩陣
記作
赔嚎。不難發(fā)現(xiàn),向量是特殊的矩陣胧弛。
運(yùn)算
設(shè) 維向量
中的元素為
尽狠,
維向量
中的元素為
叶圃。向量
與
的點(diǎn)乘(內(nèi)積)是一個(gè)標(biāo)量:
設(shè)兩個(gè) 行
列矩陣
矩陣 的轉(zhuǎn)置是一個(gè)
行
列矩陣掺冠,它的每一行其實(shí)是原矩陣的每一列:
兩個(gè)相同形狀的矩陣的加法實(shí)際上是按元素做加法:
我們使用符號(hào) 表示兩個(gè)矩陣按元素做乘法的運(yùn)算:
定義一個(gè)標(biāo)量 。標(biāo)量與矩陣的乘法也是按元素做乘法的運(yùn)算:
其它例如標(biāo)量與矩陣按元素相加码党、相除等運(yùn)算與上式中的相乘運(yùn)算類似德崭。矩陣按元素開根號(hào)、取對(duì)數(shù)等運(yùn)算也即對(duì)矩陣每個(gè)元素開根號(hào)揖盘、取對(duì)數(shù)等眉厨,并得到和原矩陣形狀相同的矩陣。
矩陣乘法和按元素的乘法不同兽狭。設(shè) 為
行
列的矩陣憾股,
為
行
列的矩陣鹿蜀。兩個(gè)矩陣相乘的結(jié)果
是一個(gè) 行
列的矩陣,其中第
行第
列(
)的元素為
范數(shù)
設(shè) 維向量
中的元素為
服球。向量
的
范數(shù)為
例如茴恰, 的
范數(shù)是該向量元素絕對(duì)值的和:
而 的
范數(shù)是該向量元素平方和的平方根:
我們通常用 指代
。
設(shè) 是一個(gè)
行
列矩陣斩熊。矩陣
的 Frobenius 范數(shù)為該矩陣元素平方和的平方根:
其中 為矩陣
在第
行第
列的元素往枣。
特征向量和特征值
對(duì)于一個(gè) 行
列的矩陣
,假設(shè)有標(biāo)量
和非零的
維向量
使
那么 是矩陣
的一個(gè)特征向量粉渠,標(biāo)量
是
對(duì)應(yīng)的特征值分冈。
微分
我們?cè)谶@里簡要介紹微分的一些基本概念和演算。
導(dǎo)數(shù)和微分
假設(shè)函數(shù) 的輸入和輸出都是標(biāo)量霸株。函數(shù)
的導(dǎo)數(shù)
且假定該極限存在雕沉。給定 ,其中
和
分別是函數(shù)
的自變量和因變量淳衙。以下有關(guān)導(dǎo)數(shù)和微分的表達(dá)式等價(jià):
其中符號(hào) 和
也叫微分運(yùn)算符蘑秽。常見的微分演算有
(
為常數(shù))、
(
為常數(shù))箫攀、
肠牲、
等。
如果函數(shù) 和
都可導(dǎo)靴跛,設(shè)
為常數(shù)缀雳,那么
如果 和
都是可導(dǎo)函數(shù),依據(jù)鏈?zhǔn)椒▌t梢睛,
泰勒展開
函數(shù) 的泰勒展開式是
其中 為函數(shù)
的
階導(dǎo)數(shù)(求
次導(dǎo)數(shù))肥印,
為
的階乘。假設(shè)
是個(gè)足夠小的數(shù)绝葡,如果將上式中
和
分別替換成
和
深碱,我們可以得到
由于 足夠小,上式也可以簡化成
偏導(dǎo)數(shù)
設(shè) 為一個(gè)有
個(gè)自變量的函數(shù)藏畅,
敷硅,它有關(guān)第
個(gè)變量
的偏導(dǎo)數(shù)為
以下有關(guān)偏導(dǎo)數(shù)的表達(dá)式等價(jià):
為了計(jì)算 ,我們只需將
視為常數(shù)并求
有關(guān)
的導(dǎo)數(shù)愉阎。
梯度
假設(shè)函數(shù) 的輸入是一個(gè)
維向量
绞蹦,輸出是標(biāo)量。函數(shù)
有關(guān)
的梯度是一個(gè)由
個(gè)偏導(dǎo)數(shù)組成的向量:
為表示簡潔榜旦,我們有時(shí)用 代替
幽七。
假設(shè) 是一個(gè)向量,常見的梯度演算包括
類似地溅呢,假設(shè) 是一個(gè)矩陣澡屡,那么
黑塞矩陣
假設(shè)函數(shù) 的輸入是一個(gè)
維向量
猿挚,輸出是標(biāo)量。假定函數(shù)
所有的二階偏導(dǎo)數(shù)都存在挪蹭,
的黑塞矩陣
是一個(gè)
行
列的矩陣:
其中二階偏導(dǎo)數(shù)
概率
最后亭饵,我們簡要介紹條件概率、期望和均勻分布梁厉。
條件概率
假設(shè)事件 和事件
的概率分別為
和
辜羊,兩個(gè)事件同時(shí)發(fā)生的概率記作
或
。給定事件
词顾,事件
的條件概率
也就是說八秃,
當(dāng)滿足
時(shí),事件 和事件
相互獨(dú)立肉盹。
期望
隨機(jī)變量 的期望(或平均值)
均勻分布
假設(shè)隨機(jī)變量 服從
上的均勻分布昔驱,即
。隨機(jī)變量
取
和
之間任意一個(gè)數(shù)的概率相等上忍。
練習(xí)
- 求函數(shù)
的梯度骤肛。