EM算法的推導(dǎo)過(guò)程中用到的一個(gè)很重要的不等式就是琴生不等式（Jenson inequality）徒爹，相信大家在高等數(shù)學(xué)的課程中都學(xué)習(xí)過(guò)這個(gè)不等式，這里只簡(jiǎn)單回顧一下這個(gè)不等式的性質(zhì)：
Jensen不等式
設(shè)f是定義域?yàn)閷?shí)數(shù)的函數(shù)晦墙，如果對(duì)于所有的實(shí)數(shù)x妆距。如果對(duì)于所有的實(shí)數(shù)x，f(x)的二次導(dǎo)數(shù)大于等于0晾虑，那么f是凸函數(shù)。當(dāng)x是向量時(shí)仅叫，如果其hessian矩陣H是半正定的帜篇，那么f是凸函數(shù)。如果只大于0诫咱，不等于0笙隙，那么稱(chēng)f是嚴(yán)格凸函數(shù)。
Jensen不等式表述如下：
如果f是凸函數(shù)坎缭，X是隨機(jī)變量竟痰，那么：E[f(X)]>=f(E[X])
特別地，如果f是嚴(yán)格凸函數(shù)掏呼，當(dāng)且僅當(dāng)X是常量時(shí)坏快，上式取等號(hào)。
如果用圖表示會(huì)很清晰：
圖中憎夷，實(shí)線(xiàn)f是凸函數(shù)莽鸿，X是隨機(jī)變量，有0.5的概率是a拾给，有0.5的概率是b祥得。（就像擲硬幣一樣）。X的期望值就是a和b的中值了蒋得，圖中可以看到E[f(X)]>=f(E[X])成立级及。
當(dāng)f是（嚴(yán)格）凹函數(shù)當(dāng)且僅當(dāng)-f是（嚴(yán)格）凸函數(shù)。
Jensen不等式應(yīng)用于凹函數(shù)時(shí)窄锅，不等號(hào)方向反向创千。
