距離與范數(shù)

什么是距離崔涂?

舉例一:計(jì)算兩點(diǎn)之間直線的長(zhǎng)度

初高中就學(xué)習(xí)的歐幾里得距離,根據(jù)勾股定理a^2+b^2=c^2始衅,可以計(jì)算出斜邊長(zhǎng)度為c = \sqrt{a^2+b^2}冷蚂,擴(kuò)展到三維,n維汛闸,得到歐式距離公式=\sqrt{\sum_{i=1}^n(x_i-y_i)^2}蝙茶。

舉例二:兩個(gè)地點(diǎn)的距離

從地點(diǎn)A走到地點(diǎn)B的距離計(jì)算,不能使用歐幾里得距離了诸老,沒(méi)辦法走藍(lán)色這條直線尸闸。這里使用曼哈頓距離,把每一小段的距離都加起來(lái)
=\sum_{i=1}^n |x_i -y_i|
由于距離是必大于0的孕锄,所以要加上絕對(duì)值。

舉例三:棋子的最短距離

棋盤上某棋子可以前后苞尝、左右畸肆、斜向行走,從A點(diǎn)到B點(diǎn)的最短距離是=max\{|x_1-y_1|, ..., |x_n-y_n|\}宙址,我們稱這種距離度量為切夫雪比距離轴脐。

更多距離的解釋

通過(guò)上面三個(gè)例子,我們可以定義距離抡砂。定義一個(gè)東西我們往往把它的屬性摘出來(lái)大咱,例如定義水果,我們提取出“可食”注益、“含水分”等特性碴巾。所以我們定義距離滿足“非負(fù)性”、“對(duì)稱性”丑搔、“三角不等性”厦瓢。

什么是范數(shù)?

范數(shù)就是點(diǎn)到零點(diǎn)的距離啤月。所以前面的y_i=0

歐幾里得范數(shù) = ||x||_2 = \sqrt{\sum_{i=1}^n x_i^2}
曼哈頓范數(shù) = ||x||_1 = \sum_{i=1}^n |x_i|
切夫雪比范數(shù)=||x||_{\infty} = \max\{|x_1|, |x_2|, ..., |x_n| \}

我們來(lái)定義一下范數(shù)煮仇。
在距離定義的基礎(chǔ)上,多了數(shù)乘要求谎仲。就像熱帶水果和水果一樣浙垫,熱帶水果比水果多一個(gè)屬性限制。所以范數(shù)是屬于距離的。使用符號(hào)||x||表示x的范數(shù)夹姥。

我們發(fā)現(xiàn)歐幾里得范數(shù)杉武、曼哈頓范數(shù)、切夫雪比范數(shù)是有規(guī)律的佃声,滿足公式(\sum_{i=1}^n |x_i|^p)^{\frac{1}{p}}
當(dāng)p=1時(shí)艺智,就是曼哈頓范數(shù),因此記錄為||x||_1圾亏,也成為L(zhǎng)1范數(shù)
當(dāng)p=2時(shí)十拣,就是歐幾里得范數(shù),因此記錄為||x||_2志鹃,也成為L(zhǎng)2范數(shù)
當(dāng)p=\infty時(shí)夭问,就是切夫雪比范數(shù),因此記錄為||x||_{\infty}曹铃,L_{\infty}范數(shù)

ML中距離的度量

L1 Loss和L2 Loss

回歸問(wèn)題中缰趋,模型學(xué)習(xí)歷史數(shù)據(jù),然后做出預(yù)測(cè)陕见,如何判斷預(yù)測(cè)向量和實(shí)際值的距離呢秘血?
MAE就是在曼哈頓距離的基礎(chǔ)上加了mean(求均值),也被稱為 L1 Loss
MSE在歐幾里得距離上做了延申评甜,也被稱為L(zhǎng)2 Loss

更多回歸度量指標(biāo)

L1,L2正則

在曼哈頓范數(shù)(L1范數(shù))和歐幾里得范數(shù)(L2范數(shù))上展開(kāi)灰粮,在原本損失J(w)的基礎(chǔ)上,加了限制忍坷。

小結(jié)

指標(biāo) 公式 備注
曼哈頓距離 \sum_{i=1}^n |x_i -y_i|
L1 損失 \frac{1}{n}\sum_{i=1}^n |y_i - \hat{y_i}| MAE
L1 范數(shù) \sum_{i=1}^n |x_i| ||x||_1
L1 正則 J(w) + c||w||_1
歐式距離 \sqrt{\sum_{i=1}^n(x_i-y_i)^2}
L2 范數(shù) \sqrt{\sum_{i=1}^nx_i^2} y_i=0
L2 損失 \frac{1}{n}\sum_{i=1}^nx_i^2 ||w||_2
L2 正則 J(w) + c||w||_2^2
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末粘舟,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子佩研,更是在濱河造成了極大的恐慌柑肴,老刑警劉巖,帶你破解...
    沈念sama閱讀 206,126評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件旬薯,死亡現(xiàn)場(chǎng)離奇詭異晰骑,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)绊序,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,254評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門些侍,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人政模,你說(shuō)我怎么就攤上這事岗宣。” “怎么了淋样?”我有些...
    開(kāi)封第一講書人閱讀 152,445評(píng)論 0 341
  • 文/不壞的土叔 我叫張陵耗式,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我,道長(zhǎng)刊咳,這世上最難降的妖魔是什么彪见? 我笑而不...
    開(kāi)封第一講書人閱讀 55,185評(píng)論 1 278
  • 正文 為了忘掉前任,我火速辦了婚禮娱挨,結(jié)果婚禮上余指,老公的妹妹穿的比我還像新娘。我一直安慰自己跷坝,他們只是感情好酵镜,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,178評(píng)論 5 371
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著柴钻,像睡著了一般淮韭。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上贴届,一...
    開(kāi)封第一講書人閱讀 48,970評(píng)論 1 284
  • 那天靠粪,我揣著相機(jī)與錄音,去河邊找鬼毫蚓。 笑死占键,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的元潘。 我是一名探鬼主播畔乙,決...
    沈念sama閱讀 38,276評(píng)論 3 399
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼柬批!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起袖订,我...
    開(kāi)封第一講書人閱讀 36,927評(píng)論 0 259
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤氮帐,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后洛姑,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體上沐,經(jīng)...
    沈念sama閱讀 43,400評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,883評(píng)論 2 323
  • 正文 我和宋清朗相戀三年楞艾,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了参咙。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 37,997評(píng)論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡硫眯,死狀恐怖蕴侧,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情两入,我是刑警寧澤净宵,帶...
    沈念sama閱讀 33,646評(píng)論 4 322
  • 正文 年R本政府宣布,位于F島的核電站,受9級(jí)特大地震影響择葡,放射性物質(zhì)發(fā)生泄漏紧武。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,213評(píng)論 3 307
  • 文/蒙蒙 一敏储、第九天 我趴在偏房一處隱蔽的房頂上張望阻星。 院中可真熱鬧,春花似錦已添、人聲如沸妥箕。這莊子的主人今日做“春日...
    開(kāi)封第一講書人閱讀 30,204評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)矾踱。三九已至,卻和暖如春疏哗,著一層夾襖步出監(jiān)牢的瞬間呛讲,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書人閱讀 31,423評(píng)論 1 260
  • 我被黑心中介騙來(lái)泰國(guó)打工返奉, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留贝搁,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 45,423評(píng)論 2 352
  • 正文 我出身青樓芽偏,卻偏偏與公主長(zhǎng)得像雷逆,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子污尉,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,722評(píng)論 2 345

推薦閱讀更多精彩內(nèi)容