6.MCMC理論

MCMC幾何問題框架可推導(dǎo)許多凸優(yōu)化理論台腥。

定義:設(shè) M\mathbb{R}^{n+1} 中非空子集:

  • 極小公共點(diǎn)問題 (minimal common problem): 找出 Mn+1 軸的公共點(diǎn)中第 n+1 個(gè)分量最小的點(diǎn)黎侈。

    極小公共點(diǎn)問題

  • 極大交叉點(diǎn)問題 (maximal crossing problem): 找出將 M 包含于其“上閉半空間”的超平面與 n+1 軸的交點(diǎn)中第 n+1 個(gè)分量最大的點(diǎn)峻汉。

    極大交叉點(diǎn)問題

一脐往、求不等式約束優(yōu)化問題對(duì)偶問題:

  1. 考慮不等式約束優(yōu)化問題:
    \min_{x \in X} f(x) \quad \text{s.t. } g(x) \leq 0.其中:X\mathbb{R}^n 的非空子集,f: X \to \mathbb{R}瘤礁,g_j: X \to \mathbb{R} 是給定函數(shù)梅尤。

  2. 引入:

    • 擾動(dòng)約束集合
      C_u = \{x \in X \mid g(x) \leq u\}, \quad u \in \mathbb{R}^r
    • 函數(shù)
      F(x, u) = \begin{cases} f(x) & x \in C_u, \\ \infty & x \notin C_u. \end{cases}
  3. 顯然對(duì)于 \forall x \in C_0F(x, 0) = f(x)巷燥。

原始函數(shù) p(u) 定義如下:

p(u)=\inf_{x\in \mathbb{R}^n} F(x, u)=\inf_{x\in X, g(x)\leq u} f(x),

\text{易知} w^*=p(0)=\inf_{x\in X, g(x)\leq 0} f(x)。

另一方面亡脑,

\begin{align*} q(\mu)&=\inf_{u\in \mathbb{R}^r}\left\{p(u)+\mu^\top u\right\}=\inf_{x\in X, g(x)\leq u}\left\{f(x)+\mu^\top u\right\}\\ &=\left\{ \begin{array}{ll} \inf_{x\in X}\left\{f(x)+\mu^\top g(x)\right\}& \mu\geq 0,\\ -\infty& \text{otherwise.} \end{array} \right. \end{align*}

q(\mu) 為對(duì)偶函數(shù)或 Lagrangian函數(shù)邀跃。

二蛙紫、線性規(guī)劃的對(duì)偶問題

  1. 考慮如下形式的線性規(guī)劃:
    \min_x c^T x \quad \text{s.t.} \quad a_j^T x \geq b_j, \quad j = 1, \ldots, r.
    其中 c \in \mathbb{R}^n坑傅,a_j \in \mathbb{R}^nb_j \in \mathbb{R}唁毒,j = 1, \ldots, r浆西。

  2. 由對(duì)偶函數(shù)知近零,對(duì)于 \mu \geq 0
    q(\mu) = \inf_{x \in \mathbb{R}^n} \left\{ c^T x + \sum_{j=1}^{r} \mu_j (b_j - a_j^T x) \right\} = \begin{cases} \mu^T b & \text{if } \sum_{j=1}^{r} \mu_j a_j = c, \\ -\infty & \text{otherwise}. \end{cases}

  3. 對(duì)于其它的 \mu \in \mathbb{R}^nq(\mu) = -\infty,因此對(duì)偶問題為
    \max_{\mu} \mu^T b \quad \text{s.t.} \quad \sum_{j=1}^{r} \mu_j a_j = c, \quad \mu \geq 0.

三漓摩、對(duì)偶間隙

定義:若 q^* \leq w^* 成立入客,稱為弱對(duì)偶(weak duality)成立;若 q^* = w^*桌硫,則稱強(qiáng)對(duì)偶(strong duality)成立或?qū)ε奸g隙(duality gap)為零鞍泉。

Theorem (弱對(duì)偶定理)
極小公共點(diǎn)問題與極大交叉點(diǎn)問題最優(yōu)值分別為 w^*q^*,則
q^* \leq w^*.

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末边器,一起剝皮案震驚了整個(gè)濱河市托修,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌睦刃,老刑警劉巖涩拙,帶你破解...
    沈念sama閱讀 212,816評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異兴泥,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)如绸,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,729評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門旭贬,熙熙樓的掌柜王于貴愁眉苦臉地迎上來稀轨,“玉大人,你說我怎么就攤上這事靶端×莞啵” “怎么了脏榆?”我有些...
    開封第一講書人閱讀 158,300評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵须喂,是天一觀的道長(zhǎng)。 經(jīng)常有香客問我坞生,道長(zhǎng),這世上最難降的妖魔是什么又兵? 我笑而不...
    開封第一講書人閱讀 56,780評(píng)論 1 285
  • 正文 為了忘掉前任卒废,我火速辦了婚禮,結(jié)果婚禮上逆皮,老公的妹妹穿的比我還像新娘参袱。我一直安慰自己,他們只是感情好抹蚀,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,890評(píng)論 6 385
  • 文/花漫 我一把揭開白布况鸣。 她就那樣靜靜地躺著,像睡著了一般镐捧。 火紅的嫁衣襯著肌膚如雪臭增。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 50,084評(píng)論 1 291
  • 那天列牺,我揣著相機(jī)與錄音拗窃,去河邊找鬼泌辫。 笑死九默,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的殿遂。 我是一名探鬼主播乙各,決...
    沈念sama閱讀 39,151評(píng)論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼恩静!你這毒婦竟也來了蹲坷?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,912評(píng)論 0 268
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤轻掩,失蹤者是張志新(化名)和其女友劉穎懦底,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體聚唐,經(jīng)...
    沈念sama閱讀 44,355評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡杆查,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,666評(píng)論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了崖蜜。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片客峭。...
    茶點(diǎn)故事閱讀 38,809評(píng)論 1 341
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖等恐,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情课蔬,我是刑警寧澤,帶...
    沈念sama閱讀 34,504評(píng)論 4 334
  • 正文 年R本政府宣布战惊,位于F島的核電站同欠,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏衫哥。R本人自食惡果不足惜襟锐,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 40,150評(píng)論 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望蚊荣。 院中可真熱鬧,春花似錦互例、人聲如沸筝闹。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,882評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)议双。三九已至,卻和暖如春平痰,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背兵拢。 一陣腳步聲響...
    開封第一講書人閱讀 32,121評(píng)論 1 267
  • 我被黑心中介騙來泰國(guó)打工逾礁, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人嘹履。 一個(gè)月前我還...
    沈念sama閱讀 46,628評(píng)論 2 362
  • 正文 我出身青樓砾嫉,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親焕刮。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,724評(píng)論 2 351

推薦閱讀更多精彩內(nèi)容