機(jī)器學(xué)習(xí)中的矩陣

預(yù)備知識(shí)

詳細(xì)內(nèi)容見(jiàn): 機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)

先上數(shù)學(xué)中的幾個(gè)定理與定義.

設(shè) $X$ 是數(shù)域 $\mathcal{K}$ (實(shí)數(shù)域或復(fù)數(shù)域) 上的內(nèi)積空間^[1], $x, y \in X$ , $M, N \subset X$ :

對(duì)于 $\forall x \in X$ , 通常被稱(chēng)為點(diǎn)
若內(nèi)積 $(x, y) = 0$ , 則稱(chēng) $x$ 與 $y$ 正交, 記作 $x \bot y$ .
若有 $\forall y \in M, x \bot y$ , 則稱(chēng) $x$ 與 $M$ 正交, 記作 $x \bot M$ .
若有 $\forall x \in M, y \in N, x \bot y$ , 則稱(chēng) $M$ 與 $N$ 正交, 記作 $M \bot N$ .
記 $M^{\bot} = \{ x \in X| x \bot M\}$ , 稱(chēng) $M^{\bot}$ 為 $M$ 在 $X$ 中的正交補(bǔ).

【投影與正交解】設(shè) $X$ 是內(nèi)積空間, $M_1, M_2$ 是 $X$ 的兩個(gè)子空間, 而且 $M_1 \bot M_2$ . 若 $\forall x \in X$ , 都有唯一的分解式:
$x = x_1 + x_2, \;\; x_1 \in M_1, x_2 \in M_2$
則稱(chēng) $X$ 為 $M_1$ 與 $M_2$ 的正交和, 記作 $X = M_1 \oplus M_2$ .

【投影判別準(zhǔn)則】設(shè) $M$ 是內(nèi)積空間 $X$ 的線性子空間 ( $x \in X, x_0 \in M$ ), 則有
$x-x_0 \in M^{\bot} \Leftrightarrow ||x-x_0|| = d(x, M)$
也就是說(shuō), $x_0$ 是 $x$ 關(guān)于 $M$ 的最佳逼近.

【正交分解定理】設(shè) $X$ 是內(nèi)積空間, 若 $A$ 是 $X$ 的完備子空間, 則 $X$ 可以分解為 $X = A \oplus A^{\bot}$ .

【最佳逼近問(wèn)題】設(shè) $X$ 是內(nèi)積空間, $x \in X, \{x_i\}_{i=1}^n \subset X$ 且線性無(wú)關(guān). 對(duì)于 $\{\alpha_i\}_{i=1}^n \subset \mathcal{K}$ , 有
$||x - \displaystyle\sum_{i=1}^n \alpha_ix_i|| = \inf_{\{\beta_i\}_{i=1}^n \subset \mathcal{K}} ||x - \displaystyle\sum_{i=1}^n \beta_ix_i||$

平方逼近與最小二乘均可看作最佳逼近問(wèn)題的特例.

==============================================================

下面具有說(shuō)說(shuō)機(jī)器學(xué)習(xí)中的矩陣.
設(shè) $\{x_j\}_{j=1}^m, \{y_j\}_{j=1}^m$ 為內(nèi)積空間 $M$ 中的點(diǎn)列. 記 $X = [x_1;x_2;\cdots;x_m]$ , $Y = [y_1;y_2;\cdots;y_m]$

線性模型

模型假設(shè): 點(diǎn)列 $X$ 與 $Y$ 共面, 即 $Y = AX$

換言之, 損失函數(shù)
$L = ||AX -Y||_F^2$
故而
$\arg \min_A \langle AX, AX \rangle - 2 \langle AX, Y \rangle \Leftrightarrow AXX^T = YX^T$

https://zh.wikipedia.org/zh-hans/內(nèi)積空間 ?

最后編輯于：2018.11.28 10:44:49

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者

人面猴
序言：七十年代末，一起剝皮案震驚了整個(gè)濱河市鳄逾，隨后出現(xiàn)的幾起案子琳疏，更是在濱河造成了極大的恐慌粒褒，老刑警劉巖薇缅，帶你破解...
沈念sama閱讀 221,635評(píng)論 6贊 515
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件翻屈，死亡現(xiàn)場(chǎng)離奇詭異懦鼠，居然都是意外死亡容诬，警方通過(guò)查閱死者的電腦和手機(jī)粱快，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 94,543評(píng)論 3贊 399
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門(mén)秩彤，熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)，“玉大人事哭，你說(shuō)我怎么就攤上這事漫雷。” “怎么了鳍咱？”我有些...
開(kāi)封第一講書(shū)人閱讀 168,083評(píng)論 0贊 360
道士緝兇錄：失蹤的賣(mài)姜人
文/不壞的土叔我叫張陵降盹，是天一觀的道長(zhǎng)。經(jīng)常有香客問(wèn)我谤辜，道長(zhǎng)蓄坏，這世上最難降的妖魔是什么？我笑而不...
開(kāi)封第一講書(shū)人閱讀 59,640評(píng)論 1贊 296
?港島之戀（遺憾婚禮）
正文為了忘掉前任丑念，我火速辦了婚禮涡戳，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘脯倚。我一直安慰自己渔彰，他們只是感情好，可當(dāng)我...
茶點(diǎn)故事閱讀 68,640評(píng)論 6贊 397
惡毒庶女頂嫁案：這布局不是一般人想出來(lái)的
文/花漫我一把揭開(kāi)白布推正。她就那樣靜靜地躺著恍涂，像睡著了一般。火紅的嫁衣襯著肌膚如雪植榕。梳的紋絲不亂的頭發(fā)上再沧，一...
開(kāi)封第一講書(shū)人閱讀 52,262評(píng)論 1贊 308
城市分裂傳說(shuō)
那天，我揣著相機(jī)與錄音内贮，去河邊找鬼产园。笑死汞斧，一個(gè)胖子當(dāng)著我的面吹牛，可吹牛的內(nèi)容都是我干的什燕。我是一名探鬼主播粘勒，決...
沈念sama閱讀 40,833評(píng)論 3贊 421
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開(kāi)眼，長(zhǎng)吁一口氣：“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼屎即！你這毒婦竟也來(lái)了庙睡？” 一聲冷哼從身側(cè)響起，我...
開(kāi)封第一講書(shū)人閱讀 39,736評(píng)論 0贊 276
萬(wàn)榮殺人案實(shí)錄
序言：老撾萬(wàn)榮一對(duì)情侶失蹤技俐，失蹤者是張志新（化名）和其女友劉穎乘陪，沒(méi)想到半個(gè)月后，有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體雕擂，經(jīng)...
沈念sama閱讀 46,280評(píng)論 1贊 319
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡啡邑，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 38,369評(píng)論 3贊 340
?白月光啟示錄
正文我和宋清朗相戀三年，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了井赌。大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片谤逼。...
茶點(diǎn)故事閱讀 40,503評(píng)論 1贊 352
活死人
序言：一個(gè)原本活蹦亂跳的男人離奇死亡，死狀恐怖仇穗，靈堂內(nèi)的尸體忽然破棺而出流部，到底是詐尸還是另有隱情，我是刑警寧澤纹坐，帶...
沈念sama閱讀 36,185評(píng)論 5贊 350
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布枝冀，位于F島的核電站，受9級(jí)特大地震影響耘子，放射性物質(zhì)發(fā)生泄漏果漾。R本人自食惡果不足惜，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 41,870評(píng)論 3贊 333
男人毒藥：我在死后第九天來(lái)索命
文/蒙蒙一拴还、第九天我趴在偏房一處隱蔽的房頂上張望跨晴。院中可真熱鬧，春花似錦片林、人聲如沸端盆。這莊子的主人今日做“春日...
開(kāi)封第一講書(shū)人閱讀 32,340評(píng)論 0贊 24
一樁弒父案费封，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽(yáng)焕妙。三九已至，卻和暖如春弓摘，著一層夾襖步出監(jiān)牢的瞬間焚鹊，已是汗流浹背。一陣腳步聲響...
開(kāi)封第一講書(shū)人閱讀 33,460評(píng)論 1贊 272
情欲美人皮
我被黑心中介騙來(lái)泰國(guó)打工韧献，沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留末患，地道東北人研叫。一個(gè)月前我還...
沈念sama閱讀 48,909評(píng)論 3贊 376
代替公主和親
正文我出身青樓，卻偏偏與公主長(zhǎng)得像璧针，于是被迫代替她去往敵國(guó)和親嚷炉。傳聞我的和親對(duì)象是個(gè)殘疾皇子，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 45,512評(píng)論 2贊 359

機(jī)器學(xué)習(xí)中的矩陣

預(yù)備知識(shí)

先上數(shù)學(xué)中的幾個(gè)定理與定義.

線性模型

推薦閱讀更多精彩內(nèi)容