什么是距離崔涂?
舉例一:計(jì)算兩點(diǎn)之間直線的長(zhǎng)度
初高中就學(xué)習(xí)的歐幾里得距離,根據(jù)勾股定理始衅,可以計(jì)算出斜邊長(zhǎng)度為冷蚂,擴(kuò)展到三維,n維汛闸,得到歐式距離公式蝙茶。
舉例二:兩個(gè)地點(diǎn)的距離
從地點(diǎn)A走到地點(diǎn)B的距離計(jì)算,不能使用歐幾里得距離了诸老,沒(méi)辦法走藍(lán)色這條直線尸闸。這里使用曼哈頓距離,把每一小段的距離都加起來(lái)
由于距離是必大于0的孕锄,所以要加上絕對(duì)值。
舉例三:棋子的最短距離
棋盤上某棋子可以前后苞尝、左右畸肆、斜向行走,從A點(diǎn)到B點(diǎn)的最短距離是宙址,我們稱這種距離度量為切夫雪比距離轴脐。
通過(guò)上面三個(gè)例子,我們可以定義距離抡砂。定義一個(gè)東西我們往往把它的屬性摘出來(lái)大咱,例如定義水果,我們提取出“可食”注益、“含水分”等特性碴巾。所以我們定義距離滿足“非負(fù)性”、“對(duì)稱性”丑搔、“三角不等性”厦瓢。
什么是范數(shù)?
范數(shù)就是點(diǎn)到零點(diǎn)的距離啤月。所以前面的
我們來(lái)定義一下范數(shù)煮仇。
在距離定義的基礎(chǔ)上,多了數(shù)乘要求谎仲。就像熱帶水果和水果一樣浙垫,熱帶水果比水果多一個(gè)屬性限制。所以范數(shù)是屬于距離的。使用符號(hào)表示x的范數(shù)夹姥。
我們發(fā)現(xiàn)歐幾里得范數(shù)杉武、曼哈頓范數(shù)、切夫雪比范數(shù)是有規(guī)律的佃声,滿足公式
當(dāng)p=1時(shí)艺智,就是曼哈頓范數(shù),因此記錄為圾亏,也成為L(zhǎng)1范數(shù)
當(dāng)p=2時(shí)十拣,就是歐幾里得范數(shù),因此記錄為志鹃,也成為L(zhǎng)2范數(shù)
當(dāng)p=時(shí)夭问,就是切夫雪比范數(shù),因此記錄為曹铃,范數(shù)
ML中距離的度量
L1 Loss和L2 Loss
回歸問(wèn)題中缰趋,模型學(xué)習(xí)歷史數(shù)據(jù),然后做出預(yù)測(cè)陕见,如何判斷預(yù)測(cè)向量和實(shí)際值的距離呢秘血?
MAE就是在曼哈頓距離的基礎(chǔ)上加了mean(求均值),也被稱為 L1 Loss
MSE在歐幾里得距離上做了延申评甜,也被稱為L(zhǎng)2 Loss
L1,L2正則
在曼哈頓范數(shù)(L1范數(shù))和歐幾里得范數(shù)(L2范數(shù))上展開(kāi)灰粮,在原本損失的基礎(chǔ)上,加了限制忍坷。
小結(jié)
指標(biāo) | 公式 | 備注 |
---|---|---|
曼哈頓距離 | ||
L1 損失 | MAE | |
L1 范數(shù) | ||
L1 正則 | ||
歐式距離 | ||
L2 范數(shù) | ||
L2 損失 | ||
L2 正則 |