兩個多元高斯分布之間的wasserstein 距離

Wasserstein distance

定義

  • Wasserstein distance 是在度量空間 M肌括，定義概率分布之間距離的距離函數(shù)点骑。
  • 定義：讓 (M,d) 作為一個度量空間，每一個在 M 上的概率測度是一個Radon 測度，（具體這是什么我也不清楚）黑滴。對于 p \ge 1的情況憨募，P_p(M) 表示對于在 M 度量空間上的 x_0，在 M 上有有限個p^{th} 距（moment）的概率測度集合 \mu跷跪，等于：
    \int _{{M}}d(x,x_{{0}})^{{p}}\,{\mathrm r11drzj}\mu (x)<+\infty \tag{1}

那么馋嗜，對于兩個分布 \mu 和 \nu 在 P_p(M) 中的p^{th}（p階） Wasserstein距離為：
W_{{p}}(\mu ,\nu ):=\left(\inf _{{\gamma \in \Gamma (\mu ,\nu )}}\int _{{M\times M}}d(x,y)^{{p}}\,{\mathrm n73rn3l}\gamma (x,y)\right)^{{1/p}}\tag{2}

集合 \Gamma (\mu ,\nu ) 表示在M \times M 空間上所有測度的集合齐板，并且這些測度的邊緣分布分別是 \mu 和 \nu吵瞻。（又稱為 \mu 和 \nu 的耦合（coupling））。

變換上式得到：
W_{{p}}(\mu ,\nu )^{{p}}=\inf {\mathbf {E}}{\big [}d(X,Y)^{{p}}{\big ]}\tag{3}

  • 注：什么是距（moments）：在數(shù)學(xué)中甘磨，力矩是對函數(shù)形狀的一種特定的定量度量橡羞。定義：關(guān)于值 c 的實(shí)值連續(xù)函數(shù) f(x) 的第 n 階矩為：
    {\displaystyle \mu _{n}=\int _{-\infty }^{\infty }(x-c)^{n}\,f(x)\,\mathrm dnvtnrt x.}

如果 f 是一個概率密度函數(shù)，則上述積分的值稱為概率分布的 n 階矩济舆；如果 F 是任何概率分布的累積概率分布函數(shù)卿泽，其中可能沒有密度函數(shù)，隨機(jī)變量為X滋觉，則概率分布的第n個矩為：
{\displaystyle \mu '_{n}=\operatorname {E} \left[X^{n}\right]=\int _{-\infty }^{\infty }x^{n}\,\mathrm dv73nr3 F(x)\,}
由此我們得到公式 (2) 到 (3) 的表示签夭。

  • 什么是測度：測度（Measure）是一個函數(shù)，它對一個給定集合的某些子集指定一個數(shù)椎侠，這個數(shù)可以比作大小第租、體積、概率等等我纪。 傳統(tǒng)的積分是在區(qū)間上進(jìn)行的慎宾，后來人們希望把積分推廣到任意的集合上，就發(fā)展出測度的概念浅悉，它在數(shù)學(xué)分析和概率論有重要的地位趟据。

Intuition and connection to optimal transport

在Wiki百科中有

Wasserstein distance between two gaussian

  • 兩個多元高斯分布之間的2階Wasserstein距離是什么，公式 (3) 中的距離函數(shù) d 如果是歐幾里得距離的話术健，那么兩個分布之間的2階Wasserstein距離是：

W_2(\mu;\nu):=\inf\mathbb{E}(\Vert X-Y\Vert_2^2)^{1/2}
兩個多元高斯分布之間的2階Wasserstein距離 {d:=W_2(\mathcal{N}(m_1,\Sigma_1);\mathcal{N}(m_2,\Sigma_2))} 是：

d^2=\Vert m_1-m_2\Vert_2^2 +\mathrm{Tr}(\Sigma_1+\Sigma_2-2(\Sigma_1^{1/2}\Sigma_2\Sigma_1^{1/2})^{1/2}). \ \ \ \ \ (1)

當(dāng)協(xié)方差矩陣可以互換 {\Sigma_1\Sigma_2=\Sigma_2\Sigma_1},公式 (1) 退化為：
W_2(\mathcal{N}(m_1,\Sigma_1);\mathcal{N}(m_2,\Sigma_2))^2 =\Vert m_1-m_2\Vert_2^2 +\Vert\Sigma_1^{1/2}-\Sigma_2^{1/2}\Vert_{Frobenius}^2.\ \ \ \ \ (2)

  • 注：
    \mathrm{Tr}(\Sigma_1+\Sigma_2-2(\Sigma_1^{1/2}\Sigma_2\Sigma_1^{1/2})^{1/2}) = \mathrm{Tr}(\Sigma_1) + \mathrm{Tr}(\Sigma_2) + 2(\mathrm{Tr}(\Sigma_1^{1/2}\Sigma_2\Sigma_1^{1/2})^{1/2})
    當(dāng) A 與B 都是對稱矩陣：\mathrm{Tr}(A^{1/2}BA^{1/2})=\mathrm{Tr}(AB)汹碱，有：
    = \mathrm{Tr}(\Sigma_1) + \mathrm{Tr}(\Sigma_2) + 2(\mathrm{Tr}(\Sigma_1\Sigma_2)^{1/2}) = \mathrm{Tr}((\Sigma_1^{1/2}-\Sigma_2^{1/2})^2)=\Vert\Sigma_1^{1/2}-\Sigma_2^{1/2}\Vert_{Frobenius}^2

代碼：

def Wasserstein(mu, sigma, idx1, idx2):
    p1 = torch.sum(torch.pow((mu[idx1] - mu[idx2]),2),1)
    p2 = torch.sum(torch.pow(torch.pow(sigma[idx1],1/2) - torch.pow(sigma[idx2], 1/2),2) , 1)
    return p1+p2
  • 矩陣 Frobenius范數(shù)表示為 \langle \mathbf{A},\mathbf{B} \rangle_{\mathrm {F}}，：

{\displaystyle \langle \mathbf {A} ,\mathbf {B} \rangle _{\mathrm {F} }=\sum _{i,j}{\overline {A_{ij}}}B_{ij}\,,=\mathrm {tr} \left({\overline {\mathbf {A} ^{T}}}\mathbf {B} \right)}

上劃線表示矩陣A的中每一個數(shù)共軛復(fù)數(shù)荞估。

  • 協(xié)方差矩陣：
    • 多元高斯部分的情況：是正定矩陣比被。
    • 多元高斯部分的情況：考慮一個一般的對稱協(xié)方差矩陣 Σ，其有D(D + 1)/2個獨(dú)立的參數(shù)泼舱。對于μ等缀，又有D個獨(dú)立的參數(shù)。多以一共有D(D + 3)/2個參數(shù)娇昙。當(dāng)D變大時尺迂，其獨(dú)立的參數(shù)個數(shù)以D的二次方增長。只考慮 Σ 是對角陣，即 Σ = diag(σ_i^2),我們就只用關(guān)心2D個獨(dú)立的參數(shù)噪裕。
  • 參考：

https://zlearning.netlify.com/computer/prml/PRMLch2dot3-gaussian-again.pdf
http://www.robots.ox.ac.uk/~davidc/pubs/tt2015_dac1.pdf
https://en.wikipedia.org/wiki/Wasserstein_metric#cite_note-1
http://djalil.chafai.net/blog/2010/04/30/wasserstein-distance-between-two-gaussians/
https://en.wikipedia.org/wiki/Wasserstein_metric#cite_note-1

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 人面猴
    序言：七十年代末蹲盘，一起剝皮案震驚了整個濱河市，隨后出現(xiàn)的幾起案子膳音，更是在濱河造成了極大的恐慌召衔，老刑警劉巖，帶你破解...
    沈念sama閱讀 222,627評論 6贊 517
  • 死咒
    序言：濱河連續(xù)發(fā)生了三起死亡事件祭陷，死亡現(xiàn)場離奇詭異苍凛，居然都是意外死亡，警方通過查閱死者的電腦和手機(jī)兵志，發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,180評論 3贊 399
  • 救了他兩次的神仙讓他今天三更去死
    文/潘曉璐 我一進(jìn)店門醇蝴，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人想罕，你說我怎么就攤上這事悠栓。” “怎么了按价？”我有些...
    開封第一講書人閱讀 169,346評論 0贊 362
  • 道士緝兇錄：失蹤的賣姜人
    文/不壞的土叔 我叫張陵惭适，是天一觀的道長。 經(jīng)常有香客問我楼镐，道長癞志，這世上最難降的妖魔是什么？ 我笑而不...
    開封第一講書人閱讀 60,097評論 1贊 300
  • ?港島之戀（遺憾婚禮）
    正文 為了忘掉前任鸠蚪，我火速辦了婚禮今阳，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘茅信。我一直安慰自己盾舌，他們只是感情好，可當(dāng)我...
    茶點(diǎn)故事閱讀 69,100評論 6贊 398
  • 惡毒庶女頂嫁案：這布局不是一般人想出來的
    文/花漫 我一把揭開白布蘸鲸。 她就那樣靜靜地躺著妖谴，像睡著了一般。 火紅的嫁衣襯著肌膚如雪酌摇。 梳的紋絲不亂的頭發(fā)上膝舅，一...
    開封第一講書人閱讀 52,696評論 1贊 312
  • 城市分裂傳說
    那天，我揣著相機(jī)與錄音窑多，去河邊找鬼仍稀。 笑死，一個胖子當(dāng)著我的面吹牛埂息，可吹牛的內(nèi)容都是我干的技潘。 我是一名探鬼主播遥巴，決...
    沈念sama閱讀 41,165評論 3贊 422
  • 雙鴛鴦連環(huán)套：你想象不到人心有多黑
    文/蒼蘭香墨 我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼享幽！你這毒婦竟也來了铲掐？” 一聲冷哼從身側(cè)響起，我...
    開封第一講書人閱讀 40,108評論 0贊 277
  • 萬榮殺人案實(shí)錄
    序言：老撾萬榮一對情侶失蹤值桩，失蹤者是張志新（化名）和其女友劉穎摆霉，沒想到半個月后，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體奔坟，經(jīng)...
    沈念sama閱讀 46,646評論 1贊 319
  • ?護(hù)林員之死
    正文 獨(dú)居荒郊野嶺守林人離奇死亡携栋，尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,709評論 3贊 342
  • ?白月光啟示錄
    正文 我和宋清朗相戀三年，在試婚紗的時候發(fā)現(xiàn)自己被綠了蛀蜜。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片刻两。...
    茶點(diǎn)故事閱讀 40,861評論 1贊 353
  • 活死人
    序言：一個原本活蹦亂跳的男人離奇死亡增蹭，死狀恐怖滴某，靈堂內(nèi)的尸體忽然破棺而出，到底是詐尸還是另有隱情滋迈，我是刑警寧澤霎奢，帶...
    沈念sama閱讀 36,527評論 5贊 351
  • ?日本核電站爆炸內(nèi)幕
    正文 年R本政府宣布，位于F島的核電站饼灿，受9級特大地震影響幕侠，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜碍彭，卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,196評論 3贊 336
  • 男人毒藥：我在死后第九天來索命
    文/蒙蒙 一晤硕、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧庇忌，春花似錦舞箍、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,698評論 0贊 25
  • 一樁弒父案疏橄，背后竟有這般陰謀
    文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至略就，卻和暖如春捎迫，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背表牢。 一陣腳步聲響...
    開封第一講書人閱讀 33,804評論 1贊 274
  • 情欲美人皮
    我被黑心中介騙來泰國打工窄绒， 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留崔兴，地道東北人彰导。 一個月前我還...
    沈念sama閱讀 49,287評論 3贊 379
  • 代替公主和親
    正文 我出身青樓螺戳，卻偏偏與公主長得像搁宾，于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子倔幼，可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,860評論 2贊 361

推薦閱讀更多精彩內(nèi)容