Convex functions

說完了凸集，下一個(gè)要將的肯定就是凸函數(shù)啦~

凸函數(shù)的相關(guān)性質(zhì)在優(yōu)化中的地位不言而喻~！

凸函數(shù)

$f: \mathrm{R}^n \to \mathrm{R}$ 是凸函數(shù)，如果 $f$ 的定義域是凸集逗嫡，并且 $\forall x, y, \theta \in [0, 1]$ 成立： $f(\theta x+(1-\theta )y) \leq \theta f(x) + (1-\theta) f(y)$

如果 $\theta \in (0, 1), x\neq y$ 時(shí)上面的不等號嚴(yán)格成立，那么就說這個(gè)函數(shù)是嚴(yán)格凸的株依。

幾何上看驱证，凸函數(shù)要求 $(x, f(x))$ 和 $(y, f(y))$ 這條線段位于函數(shù)圖形的上方。

對應(yīng)的恋腕，我們還有定義“凹函數(shù)”抹锄，當(dāng) $-f$ 是凸函數(shù)時(shí)， $f$ 被稱為凹函數(shù)吗坚。

對于仿射函數(shù)祈远，它是既凸又凹的。同時(shí)商源，既凸又凹的函數(shù)只有仿射函數(shù)车份。

如果 $f$ 是凸函數(shù)，那么 $g(t)=f(x+tv)$ 也是凸函數(shù)牡彻，反過來的結(jié)論也成立扫沼。這說明，凸函數(shù)限制在任何一條直線上都是凸庄吼！凸函數(shù)的概念完全可以從歐式空間推廣到一般的線性空間缎除，在一般的線性空間上，這條性質(zhì)成為我們判斷凸函數(shù)的重要依據(jù)总寻。

凸函數(shù)還具有良好的分析性質(zhì)器罐，比如，凸函數(shù)在它定義域的相對內(nèi)點(diǎn)集上是連續(xù)的渐行；凸函數(shù)的不連續(xù)點(diǎn)只可能出現(xiàn)在它的相對邊界上轰坊。

凸函數(shù)定義域延拓

有時(shí)候我們會把一個(gè)凸函數(shù)的定義域延拓到整個(gè) $R^n$ 空間中：
$\tilde{f}(x)=\left\{\begin{array}{ll}f(x) & x \in \operatorname{dom} f \\ \infty & x \notin \operatorname{dom} f\end{array}\right.$

可以證明铸董，這樣延拓的凸函數(shù)也滿足凸函數(shù)的定義。（在定義好關(guān)于 $\infty$ 的運(yùn)算后）肴沫。這樣的定義在函數(shù)表示上有一定的意義粟害。

一階條件（first order condition）

可微的凸函數(shù)滿足一階條件：
$f(y) \geq f(x)+\nabla f(x)^{T}(y-x)\quad\forall x,y \in \mathrm{dom}f$

這個(gè)不等式揭示了凸函數(shù)的局部特性，那就是在一點(diǎn)的切平面是整個(gè)函數(shù)的 global underestimate 颤芬。

如果上面的不等號嚴(yán)格成立悲幅，那么這個(gè)函數(shù)是嚴(yán)格凸的。這里的條件是充分必要的站蝠。

二階條件（second order condition）

如果定義在開凸集上的二階可微函數(shù) $f$ 滿足 $\nabla^2f\succeq0$ 汰具，那么 $f$ 是凸函數(shù)。

如果 $\nabla^2f\succ0$ 沉衣，那么 $f$ 是嚴(yán)格凸的冲簿。

當(dāng) $f$ 嚴(yán)格凸時(shí)议纯，不一定能推出 $\nabla^2f$ 正定。比如 $f(x)=x^4$ 银萍，二階導(dǎo)數(shù)在 $x=0$ 處為 $0$ 拔疚。

關(guān)于一階條件和二階條件的證明肥隆，要用到泰勒展開。在此從略稚失。

凸函數(shù)的例子

指數(shù)函數(shù)栋艳、多項(xiàng)式函數(shù)，絕對值函數(shù)都是凸的句各；對數(shù)函數(shù)是凹的吸占。
最大值函數(shù)是凸的。

對 $f(x)=\log \left(e^{x_{1}}+\cdots+e^{x_{n}}\right)$ is convex on $\mathbf{R}^{n}$ 凿宾。有估計(jì)式： $\max \left\{x_{1}, \ldots, x_{n}\right\} \leq f(x) \leq \max \left\{x_{1}, \ldots, x_{n}\right\}+\log n$ 這個(gè)函數(shù)是最大值函數(shù)的一個(gè)光滑近似矾屯。

$f(x)=(\Pi_{i=1}^n x_i)^{\frac{1}{n}},x_i>0$ 是凹函數(shù)，容易證明 $\nabla^2f$ 是半負(fù)定的初厚。
$f(X)=\log \det X$ 是 $\mathrm{S}_{++}^n$ 上的凹函數(shù)件蚕。它是一個(gè)定義在矩陣空間上的函數(shù)。（關(guān)于它的證明产禾，參見我的另一篇文章）

下水平集（sublevel sets）

定義 $f: \mathbf{R}^n \to \mathbf{R}$ 的 $\alpha-sublevel\;\; set$ 為：
$C_{\alpha}=\{x \in \operatorname{dom} f \mid f(x) \leq \alpha\}$ 易證 $f$ 是凸函數(shù)的時(shí)候 $C_\alpha$ 是個(gè)凸集排作。

從而這里給出了判斷凸集的另一個(gè)方法：能被寫成某個(gè)凸函數(shù)的 $\alpha$ -sublevel set 的集合是凸集。反之亚情，一個(gè)函數(shù)的 sublevel set 是凸的妄痪，并不能反推出它是凸函數(shù)（事實(shí)上這個(gè)函數(shù)是擬凸的）。

例： $S=\{x|x^T Ax+c^T x+ b \leq 0, A\succeq 0\}$ 是凸集楞件。

對于 $f$ 是凹函數(shù)有相應(yīng)的結(jié)論： $\{x \in \operatorname{dom} f | f(x) \geq \alpha\}$ 是凸集障簿。

Epigraph

一個(gè)函數(shù)的 $f:\mathbf{R}^n\to \mathbf{R}$ 的 epigraph 是指：
$\text { epi } f=\{(x, t) | x \in \operatorname{dom} f, f(x) \leq t\}$

$\text{epi} f$ 是 $\mathbf{R} ^{n+1}$ 的子集，是函數(shù)圖形的上方吮成。 $\text{epi} f$ 是凸集當(dāng)且僅當(dāng) $f$ 是凸函數(shù)危纫。所以epigraph 也是一種主要的判斷凸函數(shù)的方法。

對應(yīng)于凹函數(shù)我們定義 hypograph：
$\text { hypo } f=\{(x, t) \mid t \leq f(x)\}$ $\text{hypo} \;f$ 是凸集當(dāng)且僅當(dāng) $f$ 是凹函數(shù)淌山。

例： $f(X)=\lambda_{\max} (X), X \in \mathrm{S}_n$ 的 epigraph $\{(X, t)\mid tI - X \succeq 0\}$ 是凸集，從而 $f$ 是凸函數(shù)翻翩。類似可得 $f(X)=\lambda_{\min} (X), X \in \mathrm{S}_n$ 是凹函數(shù)睛低。

琴生不等式（Jesen inequality）

琴生不等式是凸函數(shù)的重要性質(zhì)瘪校。

對 $x_{1}, \ldots, x_{k} \in \operatorname{dom} f$ 和 $\theta_{1}, \ldots, \theta_{k} \geq 0, \theta_{1}+\cdots+\theta_{k}=1$ 成立：

$f\left(\theta_{1} x_{1}+\cdots+\theta_{k} x_{k}\right) \leq \theta_{1} f\left(x_{1}\right)+\cdots+\theta_{k} f\left(x_{k}\right)$

這是有限個(gè)點(diǎn)的情況信夫。該不等式還能擴(kuò)展到無限和押搪、積分等情況。

If $p(x) \geq 0$ on $S \subseteq \operatorname{dom} f, \int_{S} p(x) \mathrmwjkcifx x=1$ , then:
$f \left( \int _ { S } p ( x ) x \mathrmuanyxgd x \right) \leq \int _ { S } f ( x ) p ( x ) \mathrmmlwh7jy x$

?對某些凸函數(shù)應(yīng)用琴生不等式可以得到許多著名的不等式：

比如Holder 不等式：
$\sum_{i=1}^{n} x_{i} y_{i} \leq\left(\sum_{i=1}^{n}\left|x_{i}\right|^{p}\right)^{1 / p}\left(\sum_{i=1}^{n}\left|y_{i}\right|^{q}\right)^{1 / q}$

保持函數(shù)凸性的操作

若干凸函數(shù)非負(fù)的加權(quán)和
在 infinite 的情況下娃豹， $f(x,y)$ 對 $x$ 是凸的焚虱，并且 $w(y)>0$ ，那么 $g(x)=\int f(x,y)w(y) \mathrmphwanpty$ 是凸的懂版。
與仿射函數(shù)的復(fù)合

凸函數(shù)的最大值（上確界）函數(shù)

?在 infinite 的情況下鹃栽， $f(x,y)$ 對 $x$ 是凸的，那么 $g(x) = \sup_y f(x,y)$ 也是凸的躯畴。

$\operatorname{epi} g=\bigcap_{y \in \mathcal{A}} \operatorname{epi} f(\cdot, y)$ 民鼓，凸集的交仍然是凸的，因此 $\operatorname{epi} g$ 也是凸的蓬抄。

事實(shí)上丰嘉，絕大多數(shù)的凸函數(shù)，都能夠表示成一族仿射函數(shù)的上確界函數(shù)嚷缭，這種方法也是判斷凸函數(shù)最常用的方法饮亏。

一般的函數(shù)復(fù)合的情況

函數(shù)的透視

透視操作是保持凸（凹）性的。

特殊情況下的下確界函數(shù)

如果 $f(x,y)$ 對 $(x,y)$ 是凸的阅爽， $C$ 是一個(gè)非空凸集路幸，那么 $g(x)=\inf_{y \in C} \;f(x, y)$ 是凸的。

$\begin{aligned} g\left(\theta x_{1}+(1-\theta) x_{2}\right) &=\inf _{y \in C} f\left(\theta x_{1}+(1-\theta) x_{2}, y\right) \\ & \leq f\left(\theta x_{1}+(1-\theta) x_{2}, \theta y_{1}+(1-\theta) y_{2}\right) \\ & \leq \theta f\left(x_{1}, y_{1}\right)+(1-\theta) f\left(x_{2}, y_{2}\right) \\ & \leq \theta g\left(x_{1}\right)+(1-\theta) g\left(x_{2}\right)+\epsilon \end{aligned}$

另外付翁，也可以通過 $\mathrm{epi }\;g$ 來證明凸性简肴。

共軛函數(shù)（Conjugate Function）

定義函數(shù) $f(x)$ 的共軛函數(shù)為： $f^{*}(y)=\sup _{x \in \operatorname{dom} f}\left(y^{T} x-f(x)\right)$ 共軛函數(shù)是多個(gè)仿射函數(shù)的上確界，因此是一定是凸函數(shù)百侧。共軛函數(shù)的定義域是上確界值有限的 $y$ 的值砰识。

一些例子：

$f(x)=ax+b$ ，注意到 $xy-ax-b$ 只在 $y=a$ 時(shí)有界佣渴，因此共軛函數(shù)只在 $y=a$ 處有定義辫狼，并且 $f^*(y)=-b$
$f(x)=x^2$ ， $\sup_{x\in R} xy - x^2 = \frac{y^2}{4}=f^*(y)$
$f(x)=\frac{1}{2}x^T Qx,(Q\in \mathrm{S}^n_{++})$ 的共軛函數(shù)是 $f^*(y)=\frac{1}{2}y^T Q^{-1}y$
$f(x)=|x|$ 的共軛函數(shù)是 $f^{\star}(y)=\left\{\begin{array}{ll}0 & \text { if }|y| \leq 1 \\ \infty & \text { if }|y|>1\end{array}\right.$

共軛函數(shù)具有鮮明的幾何意義：

當(dāng) $f(x)$ 是一元函數(shù)的時(shí)候观话，如上圖所示予借， $f^*(y)$ 表示以 $y$ 為斜率且過原點(diǎn)的直線，與 $f(x)$ 的圖像的最大距離（或者其負(fù)數(shù)）。

當(dāng) $f(x)$ 是 $n$ 元函數(shù)的時(shí)候灵迫， $f^*(y)$ 表示以 $(-y, 1)$ 為法向量（n+1維）且過原點(diǎn)的平面秦叛，與 $f(x)$ 的圖像的最大距離（或者其負(fù)數(shù)）。

非空集合 $X$ 的示性函數(shù)（indicator function ） $\delta_X(x)$ 定義為： $\delta_{X}(x)=\left\{\begin{aligned} 0, &\; x \in X \\ \infty, &\; x \notin X \end{aligned}\right.$ $\delta_X(x)$ 的共軛函數(shù)是支撐函數(shù) $\sigma_X(x)$ ： $\sigma_{X}(y)=\sup _{x \in X} y^{\prime} x$

設(shè) $f(x)=\|x\|$ 代表 $\mathbf{R}^n$ 中的一種范數(shù)瀑粥，其對偶范數(shù)為 $\|\cdot \|_*$ 挣跋，我們能得到共軛函數(shù)： $f^{*}(y)=\left\{\begin{array}{ll}0 & \|y\|_{*} \leq 1 \\ \infty & \text { otherwise }\end{array}\right.$

Fenchel’s inequality

根據(jù)共軛函數(shù)的定義，下式是顯然的：
$f(x)+f^*(y)\ge x^T y$ 應(yīng)用到上面的例子狞换，還能得到： $x^{T} y \leq(1 / 2) x^{T} Q x+(1 / 2) y^{T} Q^{-1} y$

共軛函數(shù)的共軛

如果 $f$ 是凸函數(shù)避咆，并且 $\mathbf{epi} f$ 是閉集，那么 $f^{**}=f$ 修噪。

可微分函數(shù)的共軛

如果 $f$ 是凸函數(shù)并且一階可微查库，那么根據(jù)凸函數(shù)的極值理論，容易得到黄琼，使得 $y^T x-f(x)$ 最大的 $x^*$ 滿足： $y=\nabla f(x^*)$

從而我們有：
$f^{*}(y)=x^{* T} \nabla f\left(x^{*}\right)-f\left(x^{*}\right),\quad(y=\nabla f(x^*))$

欲求 $f^*(y)$ 樊销，只需要解 $y=\nabla f(z)$ 得到向量 $z$

可微函數(shù) $f$ 的共軛，也叫做 $f$ 的 Legendre變換脏款。

其他性質(zhì)

Scaling and composition with a?ne transformation

如果 $f(u, v)=f_{1}(u)+f_{2}(v)$ 围苫，且 $f_1, f_2$ 都是凸函數(shù)，那么：
$f^{*}(w, z)=f_{1}^{*}(w)+f_{2}^{*}(z)$

擬凸函數(shù)（Quasiconvex functions）

?擬凸函數(shù)就是所有下水平集是凸集的函數(shù)撤师。比如 $f(x)=\sqrt{|x|}$ 就不是凸函數(shù)剂府，但是是擬凸的。

$R$ 上的擬凸函數(shù)剃盾，要么是單調(diào)的腺占，要么在一個(gè)點(diǎn)左邊單調(diào)遞減，右邊單調(diào)遞增痒谴。

?很多凸函數(shù)具有的良好性質(zhì)湾笛，可以推廣到擬凸函數(shù)上。

?一個(gè)定義在凸集上的函數(shù)是擬凸函數(shù)闰歪，當(dāng)且僅當(dāng) $\forall x, y \in \mathrm{dom} f$ , $0\le \theta \le 1$ ，成立：
$f(\theta x+(1-\theta) y) \leq \max \{f(x), f(y)\}$

?這意味著蓖墅，線段上的函數(shù)值库倘，一定小于等于兩個(gè)端點(diǎn)函數(shù)值最大的那一個(gè)。這個(gè)既可以當(dāng)做擬凸函數(shù)的性質(zhì)论矾，也能當(dāng)做擬凸函數(shù)的定義教翩。（關(guān)于兩種定義等價(jià)性的證明，看這里）

針對這個(gè)性質(zhì)還有另一個(gè)版本：
$f(x)\le f(y) \Rightarrow f(\theta x+(1-\theta)y)\le f(y)$

一些資料上把這個(gè)當(dāng)做擬凸函數(shù)的定義贪壳，并且當(dāng)不等號嚴(yán)格成立時(shí)饱亿，稱 $f$ 是嚴(yán)格擬凸的。

來看一些例子。

$f(x_1, x_2)=x_1x_2, (x_1, x_2 > 0)$ 彪笼，容易看到 $\nabla^2 f$ 是不定的钻注，因此既不是凸函數(shù)也不是凹函數(shù)。但是 $\{x|x_1x_2\ge\alpha\}$ 是凸集配猫，所以 $f$ 是擬凹函數(shù)幅恋。
線性分式函數(shù)是擬線性的。

因?yàn)?img class="math-block" src="https://math.jianshu.com/math?formula=%5Coperatorname%7Brank%7D(X%2BY)%20%5Cgeq%20%5Cmin%20%5C%7B%5Coperatorname%7Brank%7D%20X%2C%20%5Coperatorname%7Brank%7D%20Y%5C%7D" alt="\operatorname{rank}(X+Y) \geq \min \{\operatorname{rank} X, \operatorname{rank} Y\}" mathimg="1">所以 $f(X)=\operatorname{rank}(X)$ 是 $S_+^n$ 上的擬凹函數(shù)

可微分的擬凸函數(shù)

?類似于凸函數(shù)泵肄，當(dāng)函數(shù)可微時(shí)捆交，可以推導(dǎo)出擬凸函數(shù)需要滿足的一階條件和二階條件。

一階條件

該條件也有鮮明的幾何意義腐巢。 $\nabla f(x)$ 導(dǎo)出了過點(diǎn) $x$ 的對下水平集 $\{y|f(y)\le f(x)\}$ 的支撐超平面品追。（高維情況很難想象，不妨考慮一維情況冯丙，這時(shí)候支撐超平面就退化為一個(gè)點(diǎn)肉瓦，下水平集是一個(gè)區(qū)間）

注意到 $\nabla f(x_0)^T(y-x_0)=0$ 對于給定的 $x_0$ ，表示的是一個(gè)平面银还。

?雖然擬凸函數(shù)和凸函數(shù)在一階條件上具有相似性风宁，但是擬凸函數(shù)并不能用一階條件來判斷全局的最小值。當(dāng) $\nabla f(x)=0$ 時(shí)蛹疯， $x$ 不一定是 global minimizer.

二階條件

?這個(gè)條件戒财，意味著 $\nabla^2f$ 在 $\nabla f^{\perp}$ 是半正定的，同時(shí) $\nabla^2f$ 至多有一個(gè)負(fù)特征值捺弦。（ $\mathrm{span}\{\nabla f\}$ 是一維的饮寞，從而 $\nabla f^{\perp}$ 是 $n-1$ 維的）

如果 $\nabla^2f$ 在 $\nabla f^{\perp}$ 是正定的，那么才能說明 $f$ 是擬凸的列吼。

保持?jǐn)M凸性的操作

擬凸函數(shù)非負(fù)加權(quán)和的最大值
這里就用之前提到過的第二種定義方式進(jìn)行證明即可幽崩。同樣可以推廣到逐點(diǎn)上確界的情況。

$\lambda_{\max }(X, Y)=\sup _{u \neq 0} \frac{u^{T} X u}{u^{T} Y u}=\sup \{\lambda | \operatorname{det}(\lambda Y-X)=0\}$ 寞钥，其中 $X\in S^n, Y\in S^n_{++}$ 慌申， $\lambda_{\max}$ 是擬凸的，叫做 $(X,Y)$ 的廣義特征值理郑。

函數(shù)復(fù)合

對數(shù)凹/對數(shù)凸函數(shù)

?簡單講蹄溉， $f>0$ ，并且 $\log f$ 是凹函數(shù)您炉，那么 $f$ 就稱為對數(shù)凹的柒爵。

?對數(shù)凹還可以用 $f(\theta x+(1-\theta) y) \geq f(x)^{\theta} f(y)^{1-\theta}, \forall \theta \in [0, 1]$ 來定義。從這里看赚爵，凸函數(shù)可以視作一種“算術(shù)平均”棉胀，對數(shù)凸則是“幾何平均”法瑟。

?為什么要研究對數(shù)凸/凹函數(shù)呢？
?統(tǒng)計(jì)學(xué)中的似然函數(shù)唁奢，是一個(gè)經(jīng)常要取對數(shù)的函數(shù)霎挟，欲求參數(shù)的極大似然估計(jì)值，其實(shí)就是一個(gè)關(guān)于似然函數(shù)的優(yōu)化問題驮瞧，如果似然函數(shù)是對數(shù)凹的氓扛，那么求對數(shù)似然函數(shù)負(fù)值的最小值，就是一個(gè)凸優(yōu)化問題论笔！這是研究對數(shù)凹函數(shù)的目的所在采郎。

標(biāo)準(zhǔn)正態(tài)分布的累計(jì)分布函數(shù) $\Phi(x)$ 是對數(shù)凹的。
$\det X$ 在 $S^n_{++}$ 上是對數(shù)凹的狂魔。
多元正態(tài)概率密度函數(shù)是 $f(x)=\frac{1}{\sqrt{(2 \pi)^{n} \operatorname{det} \Sigma}} e^{-\frac{1}{2}(x-\bar{x})^{T} \Sigma^{-1}(x-\bar{x})}$ 是對數(shù)凹的蒜埋。

事實(shí)上，很多常見的概率分布函數(shù)最楷，都是對數(shù)凹的整份。

如果 $f$ 具有良好的光滑性，通過 $\log f$ 的凹凸性籽孙，我們可以得到一些關(guān)于 $f$ 的性質(zhì)：
因?yàn)椋?img class="math-block" src="https://math.jianshu.com/math?formula=%5Cnabla%5E%7B2%7D%20%5Clog%20f(x)%3D%5Cfrac%7B1%7D%7Bf(x)%7D%20%5Cnabla%5E%7B2%7D%20f(x)-%5Cfrac%7B1%7D%7Bf(x)%5E%7B2%7D%7D%20%5Cnabla%20f(x)%20%5Cnabla%20f(x)%5E%7BT%7D" alt="\nabla^{2} \log f(x)=\frac{1}{f(x)} \nabla^{2} f(x)-\frac{1}{f(x)^{2}} \nabla f(x) \nabla f(x)^{T}" mathimg="1">
于是可以得到 $f$ 對數(shù)凹的一個(gè)充要條件： $f(x) \nabla^{2} f(x) \preceq \nabla f(x) \nabla f(x)^{T}$

在一元函數(shù)的情況烈评，就是： $f\cdot f^{''}\leq(f^{'})^2$ 。

?此外犯建，對數(shù)凸/凹性是對乘法保持封閉的讲冠。從 $h(x)=f(x)g(x)\Rightarrow \log h(x) = \log f(x) + \log g(x)$ 容易看出。如果概率密度函數(shù)是對數(shù)凹的适瓦，那么多個(gè)密度函數(shù)相乘的結(jié)果也是對數(shù)凹的竿开。

廣義不等式下的凸性

通過前面提到的廣義不等式，可以定義函數(shù)的“單調(diào)遞增”和“嚴(yán)格單調(diào)遞增”玻熙。

想想為什么 $K-\mathit{increasing}$ 的定義不使用 $x\prec_K y$

例子：

$f(X)=\mathrm{det} X$ 是 $S^n_{+}$ 上的 increasing 函數(shù)否彩。

如果 $X$ 是半正定矩陣，那么 $|X+I|>|X|$ 嗦随。（借助特征值證明）

$f(X)=\mathrm{tr} X^{-1}$ 是 $S^n_{++}$ 上的 decreasing 函數(shù)列荔。

單調(diào)性的梯度條件

對于這種新的單調(diào)性，我們可以用廣義不等式下的梯度條件去判斷枚尼。

$f$ is K-nondecreasing $\Leftrightarrow$ $\nabla f(x) \succeq_{K^{*}} 0 \quad\forall x \in \mathrm{dom} f$
$f$ is K-increasing $\Leftrightarrow$ $\nabla f(x) \succ_{K^{*}} 0\quad\forall x \in \mathrm{dom} f$

?函數(shù)的梯度在對偶不等式的情況下是非負(fù)的肌毅。其實(shí) $\nabla f(x) \succeq_{K^{*}} 0$ 這里暗指的，就是 $f$ 在 $K$ 中的每一個(gè)方向都是單調(diào)遞增的姑原。

廣義不等式下的凸性

進(jìn)一步，通過廣義不等式還能把函數(shù)的凸性定義在一個(gè) proper cone 上：

值得注意的是呜舒，通常我們說的凸函數(shù)锭汛，值域是 $R$ ，而K-convex 的定義上，凸函數(shù)的值域被推廣到了 $R^m$ 唤殴。

凸函數(shù)的大多數(shù)性質(zhì)般婆，可以推廣到K-convex 函數(shù)上。

因?yàn)橹涤蚴?img class="math-inline" src="https://math.jianshu.com/math?formula=R%5Em" alt="R^m" mathimg="1">朵逝，一階條件的梯度變成了 Jacobi 矩陣蔚袍。

最后編輯于：2021.04.18 16:41:59

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末，一起剝皮案震驚了整個(gè)濱河市配名，隨后出現(xiàn)的幾起案子啤咽，更是在濱河造成了極大的恐慌，老刑警劉巖渠脉，帶你破解...
沈念sama閱讀 217,657評論 6贊 505
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件宇整，死亡現(xiàn)場離奇詭異，居然都是意外死亡芋膘，警方通過查閱死者的電腦和手機(jī)鳞青，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 92,889評論 3贊 394
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來为朋，“玉大人臂拓，你說我怎么就攤上這事∠按纾” “怎么了胶惰？”我有些...
開封第一講書人閱讀 164,057評論 0贊 354
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵，是天一觀的道長融涣。經(jīng)常有香客問我童番，道長，這世上最難降的妖魔是什么威鹿？我笑而不...
開封第一講書人閱讀 58,509評論 1贊 293
?港島之戀（遺憾婚禮）
正文為了忘掉前任剃斧，我火速辦了婚禮，結(jié)果婚禮上忽你，老公的妹妹穿的比我還像新娘幼东。我一直安慰自己，他們只是感情好科雳，可當(dāng)我...
茶點(diǎn)故事閱讀 67,562評論 6贊 392
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布根蟹。她就那樣靜靜地躺著，像睡著了一般糟秘。火紅的嫁衣襯著肌膚如雪简逮。梳的紋絲不亂的頭發(fā)上，一...
開封第一講書人閱讀 51,443評論 1贊 302
城市分裂傳說
那天尿赚，我揣著相機(jī)與錄音散庶，去河邊找鬼蕉堰。笑死，一個(gè)胖子當(dāng)著我的面吹牛，可吹牛的內(nèi)容都是我干的。我是一名探鬼主播怀酷，決...
沈念sama閱讀 40,251評論 3贊 418
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼皿渗！你這毒婦竟也來了？” 一聲冷哼從身側(cè)響起轻腺，我...
開封第一講書人閱讀 39,129評論 0贊 276
萬榮殺人案實(shí)錄
序言：老撾萬榮一對情侶失蹤乐疆，失蹤者是張志新（化名）和其女友劉穎，沒想到半個(gè)月后约计，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體诀拭，經(jīng)...
沈念sama閱讀 45,561評論 1贊 314
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 37,779評論 3贊 335
?白月光啟示錄
正文我和宋清朗相戀三年煤蚌，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了耕挨。大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
茶點(diǎn)故事閱讀 39,902評論 1贊 348
活死人
序言：一個(gè)原本活蹦亂跳的男人離奇死亡尉桩，死狀恐怖筒占，靈堂內(nèi)的尸體忽然破棺而出，到底是詐尸還是另有隱情蜘犁，我是刑警寧澤翰苫，帶...
沈念sama閱讀 35,621評論 5贊 345
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布，位于F島的核電站这橙，受9級特大地震影響奏窑，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜屈扎，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 41,220評論 3贊 328
男人毒藥：我在死后第九天來索命
文/蒙蒙一埃唯、第九天我趴在偏房一處隱蔽的房頂上張望。院中可真熱鬧鹰晨，春花似錦墨叛、人聲如沸。這莊子的主人今日做“春日...
開封第一講書人閱讀 31,838評論 0贊 22
一樁弒父案漠趁，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽。三九已至忍疾，卻和暖如春闯传，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背卤妒。一陣腳步聲響...
開封第一講書人閱讀 32,971評論 1贊 269
情欲美人皮
我被黑心中介騙來泰國打工丸边，沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留叠必，地道東北人。一個(gè)月前我還...
沈念sama閱讀 48,025評論 2贊 370
代替公主和親
正文我出身青樓妹窖，卻偏偏與公主長得像，于是被迫代替她去往敵國和親收叶。傳聞我的和親對象是個(gè)殘疾皇子骄呼，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 44,843評論 2贊 354

Convex functions

凸函數(shù)

凸函數(shù)定義域延拓

一階條件（first order condition）

二階條件（second order condition）

凸函數(shù)的例子

下水平集（sublevel sets）

Epigraph

琴生不等式（Jesen inequality）

保持函數(shù)凸性的操作

共軛函數(shù)（Conjugate Function）

Fenchel’s inequality

共軛函數(shù)的共軛

可微分函數(shù)的共軛

其他性質(zhì)

擬凸函數(shù)（Quasiconvex functions）

可微分的擬凸函數(shù)

一階條件

二階條件

保持?jǐn)M凸性的操作

對數(shù)凹/對數(shù)凸函數(shù)

廣義不等式下的凸性

單調(diào)性的梯度條件

廣義不等式下的凸性

推薦閱讀更多精彩內(nèi)容