符號說明
矩陣
:矩陣
的譜范數(shù)
: 矩陣
的核范數(shù)
: 矩陣
的F范數(shù)
表示矩陣的秩研底。
[Jensen’s inequality]
如果為凸函數(shù),
,
那么:
實際上,上述為凸函數(shù)的定義,為比較一般的Jensen’s inequality脓恕。
如果為凸函數(shù),
,
那么:
證:假設時殉农,不等式是一定成立的局荚,所以假設
。
令,
轮傍,根據(jù)凸函數(shù)的定義可得:
,所以创夜,同樣滿足條件,所以通過數(shù)學歸納法即可證明上述等式喜最。
如果在上迷雪,
,且
,則當相應的積分存在時:
試證(注意虫蝶,是試證):
令,且滿足
(這個性質(zhì)至少在p(x)是連續(xù)函數(shù)的時候是能夠滿足的)能真,那么根據(jù)第二形態(tài)Jensen’s inequality可以得到:
令即可得積分形式不等式(當然赁严,里面含有一個極限和函數(shù)互換的東西扰柠,因為凸函數(shù)一定是連續(xù)函數(shù),所以這個是可以互換的疼约,應該沒弄錯)卤档。
如果是隨機變量,事件
發(fā)生的概率為1程剥,函數(shù)
為凸函數(shù)劝枣,且相應的期望存在時:
證:
令,隨機變量
的概率密度函數(shù)為
,則
织鲸,于是舔腾,根據(jù)積分形式的Jensen’s inequality即可得:
[Young's inequality]
設且均為實數(shù),滿足:
若亦為實數(shù)搂擦,那么:
證1:
對于,有
(因為
為凹函數(shù)稳诚,而不等式右邊是在點
的切線)。令
,可得:
令扳还,代入即可得,另外
的時候不等式必成立丘损,結果得證普办。
證2:
考察平面上由方程
所定義的曲線,它也可以表示為
,作積分得:
顯然:
只有當的時候徘钥,不等式才得以成立衔蹲,證畢。
[Holder's inequality]
離散形式
設,且
,
,其中
表示復數(shù)域呈础,則:
注意舆驶,的矩陣可以看成是
維的向量。
證:
令
則有,由楊不等式
求和而钞,得
即
所以得證沙廉。
另外需要一提的是,且右端倆式收斂臼节,則這個式子也對于
也可成立撬陵。
積分形式
設,且
,
,且
均存在,則
證:
令
則有,并由楊不等式
并積分可得:
即
證畢网缝。
[trace-nuclear]
證明:
根據(jù)的對偶定義:
令代之巨税,則
因為是任意的,所以不等式對任意的
都成立(當然前提是能做矩陣的乘法)粉臊。
[算術-幾何平均不等式]
如果草添,
,那么
時扼仲,
證1:因為為定義在
上的凸函數(shù)远寸,根據(jù)[Jensen’s inequality]可得:
倆邊取指數(shù)可得:
所以
證2:
根據(jù)[Young's inequality]可得:
令,
抄淑,
滿足條件,所以:
[Gibb's inequality]
假設分別為一個概率分布, 那么有下列不等式成立:
等價于:
亦等價于:
當且僅當時等式成立.
這意味著是KL散度:
證1:
因為, 所以我們簡單證明
的不等式即可.
用表示
的指示集驰后,又
, 故:
經(jīng)過延拓, 則上式成立肆资, 又
的時候
, 所以
, 又因為
, 所以
, 所以
, 故
證2:
因為嚴格凸倡怎,所以利用[Jensen' inequality]可以得到:
而根據(jù)[Jensen' inequality]等式成立的條件可以得到:
且所以
時等式成立迅耘,
的情況和上面一樣討論.
自然贱枣,該不等式可以推廣到積分形式:
[Gronwall's inequality]
假設在
上非負监署,單調(diào)遞增,
,且
非負, 滿足:
則:
注意:
如果
并不能推出:
但是當的時候, 是有此類性質(zhì)的(可用類似證1的方法證明).
證1:
記: , 則
,
, 可得:
即:
記, 則
.
倆邊同乘以纽哥,不改變符號:
倆邊是同時在上積分得:
注意到(因為單增, 且積分內(nèi)部為非負):
所以:
證畢.
證2(需非負):
則:
倆邊在上積分:
注意钠乏,因為是單增的,所以
時:
所以:
所以:
其中.
倆邊令得:
證畢.
證3:
令,
則:
于是:
因為單增, 所以:
記, 可得:
于是:
注意到:
所以:
重復此類操作可得:
令:
證畢.
注:
最后這部分也可以利用:
來證明, 但是我覺得如果是倆邊取極限春塌,那就不必考慮得正負問題了晓避,雖然多此一舉,但是更酷啊.
[
inequality]
假設為實數(shù)只壳,
, 則
其中
證明:
: 考慮函數(shù)
, 其導數(shù)為
則在
上單調(diào)遞減俏拱,由
, 所以
. 代入
即得:
顯然,時也成立.
: 考慮凸函數(shù)
可得:
證畢.