機(jī)器學(xué)習(xí)數(shù)學(xué)基礎(chǔ)

數(shù)學(xué)基礎(chǔ)

本節(jié)總結(jié)了本書中涉及到的有關(guān)線性代數(shù)、微分和概率的基礎(chǔ)知識(shí)增炭。為避免贅述本書未涉及的數(shù)學(xué)背景知識(shí),本節(jié)中的少數(shù)定義稍有簡化拧晕。

線性代數(shù)

以下分別概括了向量隙姿、矩陣、運(yùn)算厂捞、范數(shù)输玷、特征向量和特征值的概念。

向量

本書中的向量指的是列向量靡馁。一個(gè) n 維向量 \boldsymbol{x} 的表達(dá)式可寫成

\boldsymbol{x} = \begin{bmatrix} x_{1} \\ x_{2} \\ \vdots \\ x_{n} \end{bmatrix},

其中 x_1, \ldots, x_n 是向量的元素欲鹏。我們將各元素均為實(shí)數(shù)的 n 維向量 \boldsymbol{x} 記作 \boldsymbol{x} \in \mathbb{R}^{n}\boldsymbol{x} \in \mathbb{R}^{n \times 1}

矩陣

一個(gè) mn 列矩陣的表達(dá)式可寫成

\boldsymbol{X} = \begin{bmatrix} x_{11} & x_{12} & \dots & x_{1n} \\ x_{21} & x_{22} & \dots & x_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ x_{m1} & x_{m2} & \dots & x_{mn} \end{bmatrix},

其中 x_{ij} 是矩陣 \boldsymbol{X} 中第 i 行第 j 列的元素(1 \leq i \leq m, 1 \leq j \leq n)臭墨。我們將各元素均為實(shí)數(shù)的 mn 列矩陣 \boldsymbol{X} 記作 \boldsymbol{X} \in \mathbb{R}^{m \times n}赔嚎。不難發(fā)現(xiàn),向量是特殊的矩陣胧弛。

運(yùn)算

設(shè) n 維向量 \boldsymbol{a} 中的元素為 a_1, \ldots, a_n尽狠,n 維向量 \boldsymbol 中的元素為 b_1, \ldots, b_n叶圃。向量 \boldsymbol{a}\boldsymbol 的點(diǎn)乘(內(nèi)積)是一個(gè)標(biāo)量:

\boldsymbol{a} \cdot \boldsymbol践图 = a_1 b_1 + \ldots + a_n b_n.

設(shè)兩個(gè) mn 列矩陣

\boldsymbol{A} = \begin{bmatrix} a_{11} & a_{12} & \dots & a_{1n} \\ a_{21} & a_{22} & \dots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \dots & a_{mn} \end{bmatrix},\quad \boldsymbol{B} = \begin{bmatrix} b_{11} & b_{12} & \dots & b_{1n} \\ b_{21} & b_{22} & \dots & b_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ b_{m1} & b_{m2} & \dots & b_{mn} \end{bmatrix}.

矩陣 \boldsymbol{A} 的轉(zhuǎn)置是一個(gè) nm 列矩陣掺冠,它的每一行其實(shí)是原矩陣的每一列:
\boldsymbol{A}^\top = \begin{bmatrix} a_{11} & a_{21} & \dots & a_{m1} \\ a_{12} & a_{22} & \dots & a_{m2} \\ \vdots & \vdots & \ddots & \vdots \\ a_{1n} & a_{2n} & \dots & a_{mn} \end{bmatrix}.

兩個(gè)相同形狀的矩陣的加法實(shí)際上是按元素做加法:

\boldsymbol{A} + \boldsymbol{B} = \begin{bmatrix} a_{11} + b_{11} & a_{12} + b_{12} & \dots & a_{1n} + b_{1n} \\ a_{21} + b_{21} & a_{22} + b_{22} & \dots & a_{2n} + b_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} + b_{m1} & a_{m2} + b_{m2} & \dots & a_{mn} + b_{mn} \end{bmatrix}.

我們使用符號(hào) \odot 表示兩個(gè)矩陣按元素做乘法的運(yùn)算:

\boldsymbol{A} \odot \boldsymbol{B} = \begin{bmatrix} a_{11} b_{11} & a_{12} b_{12} & \dots & a_{1n} b_{1n} \\ a_{21} b_{21} & a_{22} b_{22} & \dots & a_{2n} b_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} b_{m1} & a_{m2} b_{m2} & \dots & a_{mn} b_{mn} \end{bmatrix}.

定義一個(gè)標(biāo)量 k。標(biāo)量與矩陣的乘法也是按元素做乘法的運(yùn)算:

k\boldsymbol{A} = \begin{bmatrix} ka_{11} & ka_{21} & \dots & ka_{m1} \\ ka_{12} & ka_{22} & \dots & ka_{m2} \\ \vdots & \vdots & \ddots & \vdots \\ ka_{1n} & ka_{2n} & \dots & ka_{mn} \end{bmatrix}.

其它例如標(biāo)量與矩陣按元素相加码党、相除等運(yùn)算與上式中的相乘運(yùn)算類似德崭。矩陣按元素開根號(hào)、取對(duì)數(shù)等運(yùn)算也即對(duì)矩陣每個(gè)元素開根號(hào)揖盘、取對(duì)數(shù)等眉厨,并得到和原矩陣形狀相同的矩陣。

矩陣乘法和按元素的乘法不同兽狭。設(shè) \boldsymbol{A}mp 列的矩陣憾股,\boldsymbol{B}pn 列的矩陣鹿蜀。兩個(gè)矩陣相乘的結(jié)果

\boldsymbol{A} \boldsymbol{B} = \begin{bmatrix} a_{11} & a_{12} & \dots & a_{1p} \\ a_{21} & a_{22} & \dots & a_{2p} \\ \vdots & \vdots & \ddots & \vdots \\ a_{i1} & a_{i2} & \dots & a_{ip} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \dots & a_{mp} \end{bmatrix} \begin{bmatrix} b_{11} & b_{12} & \dots & b_{1j} & \dots & b_{1n} \\ b_{21} & b_{22} & \dots & b_{2j} & \dots & b_{2n} \\ \vdots & \vdots & \ddots & \vdots & \ddots & \vdots \\ b_{p1} & b_{p2} & \dots & b_{pj} & \dots & b_{pn} \end{bmatrix}

是一個(gè) mn 列的矩陣,其中第 i 行第 j 列(1 \leq i \leq m, 1 \leq j \leq n)的元素為

a_{i1}b_{1j} + a_{i2}b_{2j} + \ldots + a_{ip}b_{pj} = \sum_{k=1}^p a_{ik}b_{kj}.

范數(shù)

設(shè) n 維向量 \boldsymbol{x} 中的元素為 x_1, \ldots, x_n服球。向量 \boldsymbol{x}L_p 范數(shù)為

\|\boldsymbol{x}\|_p = \left(\sum_{i=1}^n |x_i|^p \right)^{1/p}.

例如茴恰,\boldsymbol{x}L_1 范數(shù)是該向量元素絕對(duì)值的和:

\|\boldsymbol{x}\|_1 = \sum_{i=1}^n |x_i|.

\boldsymbol{x}L_2 范數(shù)是該向量元素平方和的平方根:

\|\boldsymbol{x}\|_2 = \sqrt{\sum_{i=1}^n x_i^2}.

我們通常用 \|\boldsymbol{x}\| 指代 \|\boldsymbol{x}\|_2

設(shè) \boldsymbol{X} 是一個(gè) mn 列矩陣斩熊。矩陣 \boldsymbol{X} 的 Frobenius 范數(shù)為該矩陣元素平方和的平方根:

\|\boldsymbol{X}\|_F = \sqrt{\sum_{i=1}^m \sum_{j=1}^n x_{ij}^2},

其中 x_{ij} 為矩陣 \boldsymbol{X} 在第 i 行第 j 列的元素往枣。

特征向量和特征值

對(duì)于一個(gè) nn 列的矩陣 \boldsymbol{A},假設(shè)有標(biāo)量 \lambda 和非零的 n 維向量 \boldsymbol{v} 使

\boldsymbol{A} \boldsymbol{v} = \lambda \boldsymbol{v},

那么 \boldsymbol{v} 是矩陣 \boldsymbol{A} 的一個(gè)特征向量粉渠,標(biāo)量 \lambda\boldsymbol{v} 對(duì)應(yīng)的特征值分冈。

微分

我們?cè)谶@里簡要介紹微分的一些基本概念和演算。

導(dǎo)數(shù)和微分

假設(shè)函數(shù) f: \mathbb{R} \rightarrow \mathbb{R} 的輸入和輸出都是標(biāo)量霸株。函數(shù) f 的導(dǎo)數(shù)

f'(x) = \lim_{h \rightarrow 0} \frac{f(x+h) - f(x)}{h},

且假定該極限存在雕沉。給定 y = f(x),其中 xy 分別是函數(shù) f 的自變量和因變量淳衙。以下有關(guān)導(dǎo)數(shù)和微分的表達(dá)式等價(jià):

f'(x) = y' = \frac{dy}{dx} = \frac{df}{dx} = \frac2w7e172{dx} f(x) = Df(x) = D_x f(x),

其中符號(hào) Dd/dx 也叫微分運(yùn)算符蘑秽。常見的微分演算有 DC = 0C 為常數(shù))、Dx^n = nx^{n-1}n 為常數(shù))箫攀、De^x = e^x肠牲、D\ln(x) = 1/x 等。

如果函數(shù) fg 都可導(dǎo)靴跛,設(shè) C 為常數(shù)缀雳,那么

\begin{aligned} \fracsmgowxn{dx} [Cf(x)] &= C \fracz63fanm{dx} f(x),\\ \frac48v0gfj{dx} [f(x) + g(x)] &= \fraccztg3ic{dx} f(x) + \fracy7pyedj{dx} g(x),\\ \fracsb2jpvx{dx} [f(x)g(x)] &= f(x) \fraccnhwcuy{dx} [g(x)] + g(x) \frac6kk6ldj{dx} [f(x)],\\ \fracl8l2nyq{dx} \left[\frac{f(x)}{g(x)}\right] &= \frac{g(x) \frac9xysazk{dx} [f(x)] - f(x) \fracclfntjp{dx} [g(x)]}{[g(x)]^2}. \end{aligned}

如果 y=f(u)u=g(x) 都是可導(dǎo)函數(shù),依據(jù)鏈?zhǔn)椒▌t梢睛,

\frac{dy}{dx} = \frac{dy}{du} \frac{du}{dx}.

泰勒展開

函數(shù) f 的泰勒展開式是

f(x) = \sum_{n=0}^\infty \frac{f^{(n)}(a)}{n!} (x-a)^n,

其中 f^{(n)} 為函數(shù) fn 階導(dǎo)數(shù)(求 n 次導(dǎo)數(shù))肥印,n!n 的階乘。假設(shè) \epsilon 是個(gè)足夠小的數(shù)绝葡,如果將上式中 xa 分別替換成 x+\epsilonx深碱,我們可以得到

f(x + \epsilon) \approx f(x) + f'(x) \epsilon + \mathcal{O}(\epsilon^2).

由于 \epsilon 足夠小,上式也可以簡化成

f(x + \epsilon) \approx f(x) + f'(x) \epsilon.

偏導(dǎo)數(shù)

設(shè) u 為一個(gè)有 n 個(gè)自變量的函數(shù)藏畅,u = f(x_1, x_2, \ldots, x_n)敷硅,它有關(guān)第 i 個(gè)變量 x_i 的偏導(dǎo)數(shù)為

\frac{\partial u}{\partial x_i} = \lim_{h \rightarrow 0} \frac{f(x_1, \ldots, x_{i-1}, x_i+h, x_{i+1}, \ldots, x_n) - f(x_1, \ldots, x_i, \ldots, x_n)}{h}.

以下有關(guān)偏導(dǎo)數(shù)的表達(dá)式等價(jià):

\frac{\partial u}{\partial x_i} = \frac{\partial f}{\partial x_i} = f_{x_i} = f_i = D_i f = D_{x_i} f.

為了計(jì)算 \partial u/\partial x_i,我們只需將 x_1, \ldots, x_{i-1}, x_{i+1}, \ldots, x_n 視為常數(shù)并求 u 有關(guān) x_i 的導(dǎo)數(shù)愉阎。

梯度

假設(shè)函數(shù) f: \mathbb{R}^n \rightarrow \mathbb{R} 的輸入是一個(gè) n 維向量 \boldsymbol{x} = [x_1, x_2, \ldots, x_n]^\top绞蹦,輸出是標(biāo)量。函數(shù) f(\boldsymbol{x}) 有關(guān) \boldsymbol{x} 的梯度是一個(gè)由 n 個(gè)偏導(dǎo)數(shù)組成的向量:

\nabla_{\boldsymbol{x}} f(\boldsymbol{x}) = \bigg[\frac{\partial f(\boldsymbol{x})}{\partial x_1}, \frac{\partial f(\boldsymbol{x})}{\partial x_2}, \ldots, \frac{\partial f(\boldsymbol{x})}{\partial x_n}\bigg]^\top.

為表示簡潔榜旦,我們有時(shí)用 \nabla f(\boldsymbol{x}) 代替 \nabla_{\boldsymbol{x}} f(\boldsymbol{x})幽七。

假設(shè) \boldsymbol{x} 是一個(gè)向量,常見的梯度演算包括

\begin{aligned} \nabla_{\boldsymbol{x}} \boldsymbol{A}^\top \boldsymbol{x} &= \boldsymbol{A}, \\ \nabla_{\boldsymbol{x}} \boldsymbol{x}^\top \boldsymbol{A} &= \boldsymbol{A}, \\ \nabla_{\boldsymbol{x}} \boldsymbol{x}^\top \boldsymbol{A} \boldsymbol{x} &= (\boldsymbol{A} + \boldsymbol{A}^\top)\boldsymbol{x},\\ \nabla_{\boldsymbol{x}} \|\boldsymbol{x} \|^2 &= \nabla_{\boldsymbol{x}} \boldsymbol{x}^\top \boldsymbol{x} = 2\boldsymbol{x}. \end{aligned}

類似地溅呢,假設(shè) \boldsymbol{X} 是一個(gè)矩陣澡屡,那么
\nabla_{\boldsymbol{X}} \|\boldsymbol{X} \|_F^2 = 2\boldsymbol{X}.

黑塞矩陣

假設(shè)函數(shù) f: \mathbb{R}^n \rightarrow \mathbb{R} 的輸入是一個(gè) n 維向量 \boldsymbol{x} = [x_1, x_2, \ldots, x_n]^\top猿挚,輸出是標(biāo)量。假定函數(shù) f 所有的二階偏導(dǎo)數(shù)都存在挪蹭,f 的黑塞矩陣 \boldsymbol{H} 是一個(gè) nn 列的矩陣:

\boldsymbol{H} = \begin{bmatrix} \frac{\partial^2 f}{\partial x_1^2} & \frac{\partial^2 f}{\partial x_1 \partial x_2} & \dots & \frac{\partial^2 f}{\partial x_1 \partial x_n} \\ \frac{\partial^2 f}{\partial x_2 \partial x_1} & \frac{\partial^2 f}{\partial x_2^2} & \dots & \frac{\partial^2 f}{\partial x_2 \partial x_n} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial^2 f}{\partial x_n \partial x_1} & \frac{\partial^2 f}{\partial x_n \partial x_2} & \dots & \frac{\partial^2 f}{\partial x_n^2} \end{bmatrix},

其中二階偏導(dǎo)數(shù)

\frac{\partial^2 f}{\partial x_i \partial x_j} = \frac{\partial }{\partial x_j} \left(\frac{\partial f}{ \partial x_i}\right).

概率

最后亭饵,我們簡要介紹條件概率、期望和均勻分布梁厉。

條件概率

假設(shè)事件 A 和事件 B 的概率分別為 \mathbb{P}(A)\mathbb{P}(B)辜羊,兩個(gè)事件同時(shí)發(fā)生的概率記作 \mathbb{P}(A \cap B)\mathbb{P}(A, B)。給定事件 B词顾,事件 A 的條件概率

\mathbb{P}(A \mid B) = \frac{\mathbb{P}(A \cap B)}{\mathbb{P}(B)}.

也就是說八秃,

\mathbb{P}(A \cap B) = \mathbb{P}(B) \mathbb{P}(A \mid B) = \mathbb{P}(A) \mathbb{P}(B \mid A).

當(dāng)滿足

\mathbb{P}(A \cap B) = \mathbb{P}(A) \mathbb{P}(B)

時(shí),事件 A 和事件 B 相互獨(dú)立肉盹。

期望

隨機(jī)變量 X 的期望(或平均值)

\mathbb{E}(X) = \sum_{x} x \mathbb{P}(X = x).

均勻分布

假設(shè)隨機(jī)變量 X 服從 [a, b] 上的均勻分布昔驱,即 X \sim U(a, b)。隨機(jī)變量 Xab 之間任意一個(gè)數(shù)的概率相等上忍。

練習(xí)

  • 求函數(shù) f(\boldsymbol{x}) = 3x_1^2 + 5e^{x_2} 的梯度骤肛。
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市窍蓝,隨后出現(xiàn)的幾起案子腋颠,更是在濱河造成了極大的恐慌,老刑警劉巖吓笙,帶你破解...
    沈念sama閱讀 217,907評(píng)論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件淑玫,死亡現(xiàn)場離奇詭異,居然都是意外死亡面睛,警方通過查閱死者的電腦和手機(jī)絮蒿,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,987評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來叁鉴,“玉大人土涝,你說我怎么就攤上這事』夏梗” “怎么了回铛?”我有些...
    開封第一講書人閱讀 164,298評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長克锣。 經(jīng)常有香客問我,道長腔长,這世上最難降的妖魔是什么袭祟? 我笑而不...
    開封第一講書人閱讀 58,586評(píng)論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮捞附,結(jié)果婚禮上巾乳,老公的妹妹穿的比我還像新娘您没。我一直安慰自己,他們只是感情好胆绊,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,633評(píng)論 6 392
  • 文/花漫 我一把揭開白布氨鹏。 她就那樣靜靜地躺著,像睡著了一般压状。 火紅的嫁衣襯著肌膚如雪仆抵。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,488評(píng)論 1 302
  • 那天种冬,我揣著相機(jī)與錄音镣丑,去河邊找鬼。 笑死娱两,一個(gè)胖子當(dāng)著我的面吹牛莺匠,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播十兢,決...
    沈念sama閱讀 40,275評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼趣竣,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了旱物?” 一聲冷哼從身側(cè)響起遥缕,我...
    開封第一講書人閱讀 39,176評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎异袄,沒想到半個(gè)月后通砍,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,619評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡烤蜕,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,819評(píng)論 3 336
  • 正文 我和宋清朗相戀三年封孙,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片讽营。...
    茶點(diǎn)故事閱讀 39,932評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡虎忌,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出橱鹏,到底是詐尸還是另有隱情膜蠢,我是刑警寧澤,帶...
    沈念sama閱讀 35,655評(píng)論 5 346
  • 正文 年R本政府宣布莉兰,位于F島的核電站挑围,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏糖荒。R本人自食惡果不足惜杉辙,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,265評(píng)論 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望捶朵。 院中可真熱鬧蜘矢,春花似錦狂男、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,871評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至舞吭,卻和暖如春泡垃,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背镣典。 一陣腳步聲響...
    開封第一講書人閱讀 32,994評(píng)論 1 269
  • 我被黑心中介騙來泰國打工兔毙, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人兄春。 一個(gè)月前我還...
    沈念sama閱讀 48,095評(píng)論 3 370
  • 正文 我出身青樓澎剥,卻偏偏與公主長得像,于是被迫代替她去往敵國和親赶舆。 傳聞我的和親對(duì)象是個(gè)殘疾皇子哑姚,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,884評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容