1. 概述
之前簡單介紹了凸函數(shù)的定義匹表，相信大家對凸函數(shù)有了簡單的認識，但是這是遠遠不夠的，這次通過一些詳細的函數(shù)講解來介紹一下部分常見凸函數(shù)的特點鄙币。
2. 凸函數(shù)的四個定義：
（1）第一個定義：如果X為在實數(shù)向量空間的凸集荐类。并且有映射
怖现，如果
被稱為凸，則有![\forall x_1,x_2\in X,\forall t\in[0,1]: f(tx_1+(1-t)x_2)\leq tf(x_1)+(1-t)f(x_2).](https://math.jianshu.com/math?formula=%5Cforall%20x_1%2Cx_2%5Cin%20X%2C%5Cforall%20t%5Cin%5B0%2C1%5D%3A%20f(tx_1%2B(1-t)x_2)%5Cleq%20tf(x_1)%2B(1-t)f(x_2).)
如果F被稱為嚴(yán)格凸，那么有：%3A%20f(tx_1%2B(1-t)x_2)%5Cngeq%20tf(x_1)%2B(1-t)f(x_2).)
（2）第二個定義：有映射%3Df(x%2Btv)%E4%B8%BA%E5%87%B8)
，
（3）第三個定義：若可微饶号，對%5Cgeq%20f(x)%2B%5Cnabla%5ETf(y-x))
（4）第四個定義：二階條件铁追，若
二階可微，則%5Cgeq0%2C%5Cforall%20x%5Cin%20dom%20f)
（這里的大于等于號是表示特征值大于等0琅束，表示矩陣半正定） 。
這四個定義在不同地方均有用處算谈，但在判斷函數(shù)是否為凸函數(shù)時最常用的是第四個涩禀。其中)
為Hessian矩陣，表示函數(shù)的二階偏導(dǎo)矩陣濒生。
3. 常見凸函數(shù)：
（1）仿射函數(shù)：%3DAx%2Bb)
,顯然埋泵，其二階導(dǎo)函數(shù)為%3D0)
，所以仿射函數(shù)為凸函數(shù)罪治。
（2）指數(shù)函數(shù)：%3De%5E%7Bax%7D%2Cx%5Cin%20R)
,顯然%3Dae%5E%7Bax%7D%EF%BC%8Cf%5E%7B''%7D(x)%3Da%5E2e%5E%7Bax%7D%5Cgeq0)
,所以指數(shù)函數(shù)是凸函數(shù)。
（3）冪函數(shù)：%3Dx%5Ea%EF%BC%8Cx%5Cin%20R_%7B%2B%2B%7D)
,接著求導(dǎo)啊求導(dǎo)~雁社，%3Dax%5E%7Ba-1%7D)
，%5Cbegin%7Bcases%7D%20%5Cgeq%200%2Ca%5Cgeq1%20%E6%88%96a%5Cleq0%20%EF%BC%88%E5%87%B8%E5%87%BD%E6%95%B0%EF%BC%89%5C%5C%20%5Cleq%200%2C0%5Cleq%20a%5Cleq1%20%EF%BC%88%E5%87%B9%E5%87%BD%E6%95%B0%EF%BC%89%5Cend%7Bcases%7D)
晒骇，顯然啦霉撵，當(dāng)
時洪囤，冪函數(shù)就成為了仿射函數(shù)徒坡，所以即凸又凹。
（4）負熵函數(shù)：%3Dxln%7Bx%7D%2Cx%5Cin%20R_%7B%2B%2B%7D)
,還是求導(dǎo)瘤缩，%3Dlnx%2B1%EF%BC%8Cf%5E%7B''%7D(x)%3D%5Cfrac%7B1%7D%7Bx%7D%5Cnleq0)
,嗯，還是個嚴(yán)格凸函數(shù)剥啤。（也是個非常重要的函數(shù)＝跸！）
（5）極大值函數(shù)（重中之重）：現(xiàn)在來一個比較復(fù)雜卻非常常見的函數(shù)：%20%3D%20max%5C%7Bx_1%2Cx_2%2C...%2Cx_n%5C%7D)
這個函數(shù)顯然是不可導(dǎo)的府怯，那么首先根據(jù)定義一來看一下是否為凸函數(shù)刻诊。取兩值
，構(gòu)造凸組合的新值y%EF%BC%8Cf(%5Ctheta%20x%2B(1-%5Ctheta)y)%3Dmax%5C%7B%5Ctheta%20x_i%2B(1-%5Ctheta)y_i%5C%7D%5Cleq%20%5Ctheta%20max%5C%7Bx_i%2Ci%3D0%2C1..n%5C%7D%2B(1-%5Ctheta)max%5C%7By_i%2Ci%3D0%2C1..n%5C%7D%3D%5Ctheta%20f(x)%2B(1-%5Ctheta)f(y))
,發(fā)現(xiàn)滿足凸函數(shù)定義则涯，所以極大值函數(shù)時凸函數(shù)。但是啊，由于其無法求導(dǎo)粟判，后續(xù)處理會出現(xiàn)各種問題肖揣。所以，這里有一個解析逼近浮入，就是用一個解析函數(shù)去逼近極大值函數(shù)。這個函數(shù)是這樣的
：%3Dlog(e%5E%7Bx_1%7D%2B...%2Be%5E%7Bx_n%7D)%2Cx%5Cin%20R%5En%EF%BC%8C%E4%B8%94%E6%9C%89%E6%80%A7%E8%B4%A8max%5C%7Bx_i%5C%7D%5Cleq%20f(x)%5Cleq%20max%5C%7Bx_i%5C%7D%2Bln(n))
那么來證明一下這個函數(shù)也是凸函數(shù)吧事秀！這里就要用到凸函數(shù)的第四個定義了，輪到Hessian矩陣出場了野舶。對上述函數(shù)求二次偏導(dǎo)得到如下關(guān)系（公式打得累死）：
%5E2%7D%2Ci%5Cneq%20j%2C%20%5Cfrac%7B%5Cpartial%5E2f%7D%7B%5Cpartial%7Bx_i%7D%5Cpartial%7By_i%7D%7D%3D%5Cfrac%7B-e%5E%7Bx_i%7De%5E%7Bx_i%7D%2Be%5E%7Bx_i%7D(e%5E%7Bx_1%7D%2B...e%5E%7Bx_n%7D)%7D%7B(e%5E%7Bx_1%7D%2B...e%5E%7Bx_n%7D)%5E2%7D%2Ci%3Dj%5Ctag%7B1%7D)
這個式子看上去也很丑易迹，那么定義列向量![z=[e^{x_1},...,e^{x_n}]^T](https://math.jianshu.com/math?formula=z%3D%5Be%5E%7Bx_1%7D%2C...%2Ce%5E%7Bx_n%7D%5D%5ET)
,那么(1)式就變成了%5E2%7D%2Ci%5Cneq%20j%2C%20%5Cfrac%7B%5Cpartial%5E2f%7D%7B%5Cpartial%7Bx_i%7D%5Cpartial%7By_i%7D%7D%3D%5Cfrac%7B-e%5E%7Bx_i%7De%5E%7Bx_i%7D%2Be%5E%7Bx_i%7D(1%5ETz)%7D%20%7B(1%5ETz)%5E2%7D%2Ci%3Dj)
,函數(shù)的Hessian矩陣可以寫成%3D%5Cfrac%7B1%7D%7B(1%5ETz)%5E2%7D((1%5ETz)diag(z)-zz%5ET)%2C%E5%8F%A6%E5%90%8E%E9%A1%B9%E7%9F%A9%E9%98%B5%E4%B8%BAK%EF%BC%8Cdiag(z)%EF%BC%8C%E4%B8%BA%E5%90%91%E9%87%8Fz%E5%B1%95%E5%BC%80%E7%9A%84%E5%AF%B9%E8%A7%92%E7%9F%A9%E9%98%B5)
那么大家還記得半正定矩陣如何證明么睹欲？就是
成立，那么A則為半正定矩陣一屋。好窘疮，那么開始構(gòu)造！冀墨！V%5ETdiag(z)v-V%5ETzz%5ETV%3D(%5Csum_iz_i)%5Csum_i(V_i%5E2z_i)-(%5Csum_iv_iz_i)%5E2%5Ctag%7B2%7D)
另
,那么(2)式就變成了:(a%5ETa)-(a%5ETb)%5E2%5Cgeq0%5Ctag%7B3%7D)
此式成立闸衫，用到的性質(zhì)為柯西-施瓦茨不等式,所以
函數(shù)為凸函數(shù)。
（6）行列式的對數(shù)：%3D%5Clog%20det(X)%2Cdom%20f%3DS%5En_%7B%2B%2B%7D)
诽嘉，首先說明一下啊蔚出，當(dāng)矩陣X只有一維時，那么原函數(shù)則為
虫腋，顯然是凹函數(shù)骄酗。所以我們是在已經(jīng)知道其為凹函數(shù)的前提下證明它是凹函數(shù)的了~根據(jù)凸函數(shù)的第二個定義當(dāng)
悦冀，構(gòu)造凸組合的函數(shù)%3Df(z%2Btv)%3D%5Clog%20det(z%2Btv)%3D%5Clog%20det(z%5E%7B%5Cfrac%7B1%7D%7B2%7D%7D(I%2Btv%5E%7B-%5Cfrac%7B1%7D%7B2%7D%7Dvz%5E%7B-%5Cfrac%7B1%7D%7B2%7D%7D)z%5E%7B%5Cfrac%7B1%7D%7B2%7D%7D)%5Ctag%7B4%7D)
繼續(xù)化簡得到為：%2C%E5%85%B6%E4%B8%AD%5Clambda_i%5Cgeq0%5Ctag%7B5%7D)
接著只要分析這個式子就可以趋翻，求導(dǎo)即可，得到：%3D%5Csum_i%5Cfrac%7B%5Clambda_i%7D%7B1%2Bt%5Clambda_i%7D%2Cg%5E%7B''%7D(t)%3D%5Csum_i%5Cfrac%7B-%5Clambda_i%5E2%7D%7B(1%2Bt%5Clambda_i)%5E2%7D%5Cleq0%5Ctag%7B6%7D)
到這里證明就結(jié)束了雏门，原函數(shù)為凹函數(shù)得證嘿歌。
4. 總結(jié)：
可見啊，分析函數(shù)凸性一般都是通過其
矩陣來分析茁影，但是對于部分凸函數(shù)的證明也不是簡單的宙帝，總體的計算過程也在越來越復(fù)雜，后面會逐步講解凸問題的理論與求解募闲。但是在證明的過程中會發(fā)現(xiàn)步脓，其理論也是一步一步建立起來的，弄懂了原理之后看問題就會舉一反三了。
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
