Convex Optimization(Boyd)--Ch3-Convex functions

3。1 基本性質與例子

3。1。1 定義

對於函式

$f:\textbf{R}^n \rightarrow \textbf{R}$

，如果其定義域

$\textbf{dom}f$

是凸集，且對於

$\forall x,y \in \textbf{dom}f, \forall \theta \in [0,1]$

均有

$f(\theta x + (1-\theta) y) \leq \theta f(x) + (1-\theta)f(y)$

，則稱函式

為

凸函式

。

在上式中，若對於

$x \neq y, 0<\theta<1$

，均有

$f(\theta x + (1-\theta) y) < \theta f(x) + (1-\theta)f(y)$

，則稱函式

為

嚴格凸函式

。

當函式

為凸函式，則稱

為

凹函式

。當函式

為嚴格凸函式，則稱

為

嚴格凹函式

。

所有的仿射函式及時凸函式又是凹函式。反過來，既是凸函式又是凹函式的函式一定是仿射函式。

函式

為凸函式當且僅當該函式限制在定義域內任意直線上的時候是凸函式。換言之，

函式 #FormatImgID_14# 為凸函式的充要條件是對 #FormatImgID_15# ，函式 #FormatImgID_16# 是凸函式（ #FormatImgID_17# ）

。這一點性質很有用，可以透過將函式在被限制在直線上時的凹凸性進而判斷函式的凹凸性。

此外，它也可以將證明 #FormatImgID_18# （定義域為多維）的凹凸性轉化為證明 #FormatImgID_19# （定義域為一維）。

3.1.2 值延拓函式

如果函式

$f: \textbf{R}^n \rightarrow \textbf{R}$

是凸函式，定義其延拓（extended-value extentions）為

$\tilde{f}: \textbf{R}^n \rightarrow \textbf{R} \cup \{ \infty\}$

：

$\tilde{f}(x) =\left\{\begin{array}{ll} f(x) &x \in \textbf{dom}f\\ \infty &x \notin \textbf{dom}f. \end{array}\right.$

如果函式

$f: \textbf{R}^n \rightarrow \textbf{R}$

是凹函式，定義其延拓（extended-value extentions）為

$\tilde{f}: \textbf{R}^n \rightarrow \textbf{R} \cup \{ -\infty\}$

：

$\tilde{f}(x) =\left\{\begin{array}{ll} f(x) &x \in \textbf{dom}f\\ -\infty &x \notin \textbf{dom}f. \end{array}\right.$

這樣拓展後，不需要每次指出

$x \in \textbf{dom}f$

。

3。1。3 一階條件

假設函式

$f: \textbf{R}^n \rightarrow \textbf{R}$

是可微的（differentiable）。

函式 #FormatImgID_28# 是凸函式的充要條件是 #FormatImgID_29# 是凸集且對 #FormatImgID_30# 均有 #FormatImgID_31# 。

其意義為對於凸函式，其一階泰勒近似是該函式的underestimator；

對於 #FormatImgID_32# 時，凸函式f在x處的切線 #FormatImgID_33# 始終在函式影象的下方。

凸函式一階條件的幾何意義

對於嚴格凸函式，可將上述不等式中的

$\geq$

換成

。

函式

是凹函式的充要條件是

$\textbf{dom}f$

是凸集且對

$\forall x,y \in \textbf{dom}f$

均有

$f(y) \leq f(x)+{\nabla f(x)}^T (y-x)$

。

對於嚴格凹函式，要講上述不等式中的

$\leq$

換成

。

證明見原書P70。（思路為先證明n=1時的情況；對於n>1在透過將原函式限制在直線上轉化為n=1時的證明）

3。1。4 二階條件

假設函式

$f: \textbf{R}^n \rightarrow \textbf{R}$

是二階可微的（differentiable），即二階導數（也稱為Hessian矩陣）

$\nabla^2f$

存在。

函式

是凸函式的充要條件是

$\textbf{dom}f$

是凸集且對

$\forall x\in \textbf{dom}f$

，其Hessian矩陣是半正定矩陣（positive semidefinite），即

$\nabla^2 f(x) \succeq 0$

。

對 #FormatImgID_50# ，均有#FormatImgID_51#

#FormatImgID_52#

#FormatImgID_53# 是嚴格凸函式。反之不成立！！！如

。

函式

是凹函式的充要條件是

$\textbf{dom}f$

是凸集且對

$\forall x\in \textbf{dom}f$

，其Hessian矩陣是半負定矩陣（negative semidefinite），即

$\nabla^2 f(x) \preceq 0$

。

3.1.5 一些常見例子

3。1。6 sublevel set和suprlevel set（將凸函式與凸集建立關係的一種方法）

函式

$f: \textbf{R}^n \rightarrow \textbf{R}$

的

$\alpha-sublevel\ set$

被定義為

$C_\alpha=\{ x \in \textbf{dom}f\ |\ f(x)\leq \alpha \}$

，也就是定義域中使得函式值不超過

$\alpha$

的元素的集合。

對於凸函式， #FormatImgID_71# 取任意值時的sublevel sets均為凸集。反過來不成立！！！（結合3.4理解）

函式

$f: \textbf{R}^n \rightarrow \textbf{R}$

的

$\alpha-superlevel\ set$

被定義為

$\{ x \in \textbf{dom}f\ |\ f(x)\geq \alpha \}$

，也就是定義域中使得函式值不小於

$\alpha$

的元素的集合。

對於凹函式，

$\alpha$

取任意值時的superlevel sets均為凸集。反過來不成立！！！（結合3.4理解）

上述兩個性質可以用來

判斷某個集合是否為凸集

（透過把這個集合表示為某個凸函式的sublevel set，或者某個凹函式的superlevel set）。

3。1。7 epigraph和hypograph（將凸函式與凸集建立關係的一種方法）

函式

$f: \textbf{R}^n \rightarrow \textbf{R}$

的

函式

$f: \textbf{R}^n \rightarrow \textbf{R}$

的影象被定義為集合

$\{ (x, f(x))\ |\ x\in \textbf{dom}f \}$

函式

的epigraph被定義為集合

$\text{epi}f=\{ (x,t)\ |\ x\in \textbf{dom}f , t \geq f(x)\} \subseteq \text{R}^{n+1}$

，也就是函式

的影象上面的部分。

一個函式是凸函式的充要條件是其epigraph為凸集。

函式

的hypograph被定義為集合

$\text{hypo}f=\{ (x,t)\ |\ x\in \textbf{dom}f , t \leq f(x)\} \subseteq \text{R}^{n+1}$

，也就是函式

的影象下面的部分。

一個函式是凹函式的充要條件是其hypograph為凸集。

凸函式的一些性質可以藉助epigraph和hypograph來進行幾何上的解釋。

3。1。8 Jensen不等式及其拓展

3。1。1中的不等式

$f(\theta x + (1-\theta) y) \leq \theta f(x) + (1-\theta)f(y)$

有時被稱為Jensen不等式。

可以將其拓展到兩個點以上的凸組合上：如果

函式

是凸函式，

$x_1,...,x_k \in \textbf{dom}f$

，

$\theta_1,...,\theta_k \geq 0$

且

$\theta_1 + ... + \theta_k =1$

，則有

$f(\theta_1 x_1 + ... + \theta_k x_k ) \leq \theta_1 f(x_1) + ... + \theta_k f(x_k)$

。

同樣，可以將上述有限和拓展到

無限求和

、

積分

和

求期望

。

例如：如果在

$S \subseteq \textbf{dom}f$

上有

$p(x) \geq 0$

，且

$\int_{S} p(x) dx =1$

，則有

$f(\int_{S} x\ p(x) dx) \leq \int_{S} f(x)\ p(x) dx$

。（假設上述積分存在。）如果x是隨機變數，也可以表示為

$f(\textbf{E}x) \leq \textbf{E}f(x)$

。

3。1。9 其他不等式

很多關於凸函式的不等式都可以由Jensen不等式匯出。

例如：

均值不等式：

$\sqrt{ab} \leq \frac{a+b}{2}$

，

Hölder不等式：對於

$p>1，\frac{1}{p}+\frac{1}{q}=1，x,y \in \textbf{R}^n$

，有

$\sum_{i=1}^{n}{x_i y_i} \leq (\sum_{i=1}^{n}{|x_i|^p})^{\frac{1}{p}} (\sum_{i=1}^{n}{|y_i|^q})^{\frac{1}{q}}$

3。2 對函式而言保凸的運算

3。2。1 非負加權和

若

是凸函式且

$\alpha \geq 0$

，則

$\alpha f$

是凸函式。

若

是凸函式，則

是凸函式。

多個凸函式的非負加權和：若

是凸函式，則

$\omega_1 f_1 +...+\omega_k f_k$

是凸函式。

可以拓展到

無窮和

以及

積分

。例如若對於

$\forall y \in \mathcal{A}$

，

是

的凸函式，且

$\forall y \in \mathcal{A}$

，

$\omega(y) \geq 0$

，則函式

$g(x)=\int_{\mathcal{A}} {\omega(y)f(x,y)} dy$

是凸函式。（

$\textbf{epi}(\omega f)=\begin{bmatrix} I &0 \\ 0& \omega\end{bmatrix} \textbf{epi}f$

）

3。2。2 與仿射對映的複合函式

設函式

$f: \textbf{R}^n \rightarrow \textbf{R}$

，

$A \in \textbf{R}^{n\times m}, b \in \textbf{R}^{n}$

，定義函式

$g: \textbf{R}^m \rightarrow \textbf{R}, g(x)=f(Ax+b)$

，則如果

是凸/凹函式，那麼

也是凸/凹函式。

3。2。3 pointwise maximum（函式的逐點最大值）和pointwise supremum（函式的逐點上界）

凸函式

設

都是凸函式，那麼它們的

pointwise maximum

$f(x)=\max \{ f_1(x), ..., f_m(x) \}$

同樣是凸函式，其中

$\textbf{dom}f = \textbf{dom}f_1 \cap... \cap \textbf{dom}f_m$

。

上述性質可以拓展到無窮集下的凸函式成為

pointwise supremum

。若對於

$\forall y \in \mathcal{A}$

，

是

的

凸

函式，那麼函式

$g(x)=\sup_{y \in \mathcal{A}}f(x,y)$

是凸函式，其中

$\textbf{dom} g = \{ x\ |\ (x,y) \in \textbf{dom} f\ for\ \forall y\in \mathcal{A}, \sup_{y\in \mathcal{A}}< \infty\}$

。（證明pointwise supremum函式的epigraph等於各個函式epigraph的交集，凸集的交集還是凸集）

凹函式

設

都是凹函式，那麼它們的

pointwise minimum

$f(x)=\min \{ f_1(x), ..., f_m(x) \}$

同樣是凹函式，其中

$\textbf{dom}f = \textbf{dom}f_1 \cap... \cap \textbf{dom}f_m$

。（這一點原書中沒有，我自己加上去的，應該也是對的）

同理可以拓展到凹函式的

pointwise infimum

。若對於

$\forall y \in \mathcal{A}$

，

是

的

凹

函式，那麼函式

$g(x)=\inf_{y \in \mathcal{A}}f(x,y)$

是凹函式，其中

$\textbf{dom} g = \{ x\ |\ (x,y) \in \textbf{dom} f\ for\ \forall y\in \mathcal{A}, \inf_{y\in \mathcal{A}}> -\infty\}$

。

這一部分書中的有很多例子可以看一看。如對稱矩陣的最大特徵值、矩陣的譜範數（spectral norm）都可以根據上述方法判定為凸函式。

將函式表示為放射函式的pointwise supremum

上述幾個性質提供了一種證明函式凹凸性的方法：將函式表示為一組affine functions的pointwise supremum。

反之：幾乎每一個凸函式都能表示為一組仿射函式的pointwise supremum。

例如：若

$f: \textbf{R}^n \rightarrow \textbf{R}$

是凸函式且

$\textbf{dom}f=\textbf{R}^n$

，則有

$f(x)=\sup\{ g(x)\ |\ g\quad affine, g(z)\leq f(z)\ for\ all\ z \}$

。（證明見P83）

3。2。4 複合函式

研究當

$h: \textbf{R}^k \rightarrow \textbf{R}$

且

$g: \textbf{R}^n \rightarrow \textbf{R}^k$

時，它們的複合函式

$f=h\circ g: \textbf{R}^n \rightarrow \textbf{R}$

的凹凸性。

scalar composition（k=1時）

考慮n=1的情況（其餘情況可以透過restriction on a line來轉化為n=1的情況）。

首先

，考慮函式g和h是二階可微且

$\textbf{dom}g=\textbf{R}^n,\textbf{dom}h=\textbf{R}$

的情況。

可以求出函式

的二階導數：

$f^{$

，可以有以下結論：

其次

，如果去掉函式g和h是二階可微的條件或

$\textbf{dom}g=\textbf{R}^n,\textbf{dom}h=\textbf{R}$

，有以下結論：

其中

$\tilde{h}$

是在

是凸（凹）函式時用

$\infty$

（

$- \infty$

）將其拓展到整個

上的延拓函式。

一些常見的例子：

vector composition（

$k \geq 1$

）

若

$f(x) = h(g(x)) = h(g_1(x),...,g_k(x))， g_i(x) = \textbf{R}^n \rightarrow \textbf{R}$

，

首先

，考慮函式g和h是二階可微且

$\textbf{dom}g=\textbf{R}^n,\textbf{dom}h=\textbf{R}$

的情況。

可以求出函式

的二階導數：

$f^{$

，可以有以下結論：

其次

，對於更一般的情況

$\tilde{h}$

必須保證單調條件。

3。2。5 Minimization（對比3。2。3的 pointwise maximum/supremum）

如果函式

對

都是凸函式，且

是一個非空凸集，則函式

$g(x) = \inf_{y \in C} f(x,y)$

是凸函式（假設

$g(x) > - \infty$

），其中

$\textbf{dom}g = \{ x\ |\ (x,y)\in \textbf{dom}f\ for\ some\ y\in C \}$

。可以用定義證明。

此外也可以透過epigraph證明，

$\textbf{epi}g = \{ (x,t)\ |\ (x,y,t)\in \textbf{epi}f\ for\ some\ y\in C \}$

顯然是個凸集，因為

$\textbf{epi}g$

是

$\textbf{epi}f$

是在某些子維度上的投影。（

高維凸集在某些子維度上的投影仍是凸集

）

3。2。6 函式的投影

設函式

$f: \textbf{R}^n \rightarrow \textbf{R}$

，函式

$g: \textbf{R}^{M+1} \rightarrow \textbf{R}, g(x,t)=tf(x/t)$

叫做函式

的投影（perspective）：

，其中

$\textbf{dom}g=\{ (x,t)\ |\ x/t\in \textbf{dom}f , t>0\}$

。

如果 #FormatImgID_178# 是凸/凹函式，那麼其perspective #FormatImgID_179# 也是凸/凹函式。

可以藉助epigraph/hypograph方便地證明。

例子有資訊理論中可能涉及的相對熵、KL散度的概念。

例子3。20（類比第二章中linear-fractional functions）。假設函式

$f: \textbf{R}^m \rightarrow \textbf{R}$

是凸函式，且

$A \in \textbf{R}^{m \times n}, b\in \textbf{R}^{m}, c\in \textbf{R}^{n}, d \in \textbf{R}$

。定義

$g(x) = (c^Tx+d)f(\frac{Ax+b}{c^Tx+d})$

，其中

$\textbf{dom}g=\{ x\ |\ c^Tx+d>0,\frac{Ax+b}{c^Tx+d} \in \textbf{dom}f\}$

。則

也是凸函式。

3。3 共軛函式（*重點）

3。3。1 共軛函式的定義與例子

函式

$f: \textbf{R}^n \rightarrow \textbf{R}$

的

共軛（conjugate）

$f^{*}: \textbf{R}^n \rightarrow \textbf{R}$

被定義為：

$f^{*}(y) = \sup_{x \in \textbf{dom}f} {y^Tx-f(x)}$

根據3。2。3，

$f^{*}$

是一組仿射函式（凸函式）的pointwise supremum，

因此#FormatImgID_189#是凸函式，無論 #FormatImgID_190# 是不是凸函式

。

3。3。2 共軛函式的基本性質

Fenchel不等式

從共軛函式的定義可以得到：

$f(x)+f^{*}(x) \geq x^Ty$

共軛函式的共軛

當

是凸函式且

是closed的（

$\textbf{epi}f$

是closed set），那麼

$f^{**} = f$

可微函式

可微函式

的共軛函式也叫做它的

Legendre變換

。（一般條件下的共軛函式和也稱為

Fenchel變換

。）

設

是可微凸函式且

$\textbf{dom}f = \textbf{R}^n$

，使得

達到最大值時的

$x^{*}$

滿足

$y=\nabla f(x^{*})$

；反之滿足

$y=\nabla f(x^{*})$

的

$x^{*}$

使

達到最大值。因此，我們有：

$f^{*}(y) = {x^{*}}^T \nabla f(x^{*})-f(x^{*})$

也就是說對任意

要確定

$f^{*}(y)$

時，我們只需要求解

$y=\nabla f(z)$

，然後

$f^{*}(y) = {z}^T \nabla f(z)-f(z)$

與仿射函式的縮放和複合

對於

$a>0, b\in \textbf{R}$

，函式

的共軛函式為

$g^{*}(y)=af^{*}(y/a)-b$

。

若

$A \in \textbf{R}^{n \times n}$

是非奇異矩陣，

$b \in \textbf{R}^n$

，則函式

的共軛函式為

$g^{*}(y)=f^{*}(A^{-T}y)-b^TA^{-T}y$

，其中

$\textbf{dom}g^{*} = A^T\textbf{dom}f^{*}$

獨立函式的和

如果函式

，其中

都是凸函式且他們的共軛函式分別為

$f_1^{*}, f_2^{*}$

，則

$f^{*}(\omega, z) = f_1^{*}(\omega) + f_2^{*}(z)$

。即獨立函式之和的共軛函式等於它們共軛函式的和。

3。4 quasiconvex functions（擬凸函式）

3。4。1 擬凸函式的定義和例子

如果函式

$f: \textbf{R}^n \rightarrow \textbf{R}$

的定義域

$\textbf{dom}f$

以及所有

$\alpha \in \textbf{R}$

的sublevel set

$S_\alpha = \{ x\in \textbf{dom}f\ |\ f(x) \leq \alpha \}$

都是凸集，則

被稱為

擬凸函式（quasiconvex）

。

如果

是擬凸函式，則

被稱為

擬凹函式（quasiconcave）

。即它的所有superlevel sets

$\{ x\ |\ f(x) \geq \alpha \}$

是凸集。

如果一個函式既是擬凸函式也是擬凹函式，那麼它被稱為

擬線性函式（quasilinear）

。如果一個函式是擬線性函式，那麼它的定義域和每個level set

$\{ x\ |\ f(x)=\alpha \}$

都是凸集。

如果一個定義在

$\textbf{R}$

的函式具備擬凸性（quasiconvexity），這要求其每一個sublevel set都是一個區間（可能是無窮區間）。如圖

R上的擬凸函式

凸函式和擬凸函式都具有凸的sublevel sets。

例子：

是quasiconvex，也是quasiconcave的，因此也是quasilinear。（因此擬凸函式也可能是凹函式）

liear-franctional函式

$f(x) = \frac{a^Tx+b}{c^Tx+d}$

（

$\textbf{dom}f = \{ x\ |\ c^Tx+d>0 \}$

）既是quasiconvex的，也是quasiconcave的，因此也是quasilinear的。（見P97）

3。4。2 基本性質

擬凸函式、擬凹函式的Jensen不等式

函式

是quasiconvex的

充要條件

是

$\textbf{dom}f$

是凸集且對

$x,y \in \textbf{dom}f, \theta \in [0,1]$

有

$f(\theta x + (1- \theta)y) \leq \max \{ f(x), f(y) \}$

。這個不等式也被稱為

擬凸函式的Jensen不等式

。

也就是說

擬凸函式在一條線段上的取值不會超過線段端點取值的最大值

。

函式

是quasiconcave的

充要條件

是

$\textbf{dom}f$

是凸集且對

$x,y \in \textbf{dom}f, \theta \in [0,1]$

有

$f(\theta x + (1- \theta)y) \geq \min \{ f(x), f(y) \}$

。這個不等式也被稱為

擬凹函式的Jensen不等式

。

也就是說

擬凹函式在一條線段上的取值不會小於線段端點取值的最小值

。

restriction to a line

同凸函式一樣，

#FormatImgID_245# 是quasiconvex的充要條件是 #FormatImgID_246# 在任意直線上的restriction是quasiconvex的。

#FormatImgID_247# 上的連續擬凸函式

連續函式

$f: \textbf{R} \rightarrow \textbf{R}$

是擬凸函式的充要條件是該函式至少滿足以下條件之一：

（1）

是非減的

（2）

是非增的

（3）

$\exists c \in \textbf{dom}f$

，使得：對所有的

$t \leq c$

，

是非增的；對所有的

$t \geq c$

，

是非減的。

3。4。3 可微擬凸函式

一階條件

若函式

$f: \textbf{R}^n \rightarrow \textbf{R}$

是可微函式。那麼

是擬凸函式的充要條件是

$\textbf{dom}f$

是凸集且對

$x,y \in \textbf{dom}f$

有

$f(y) \leq f(x) \Rightarrow {\nabla f(x)}^T(y-x) \leq 0$

。

這一不等式的幾何解釋為當

$\nabla f(x) \neq 0$

時，

$\nabla f(x)$

定義了sublevel set

$\{ y\ |\ f(y)\leq f(x) \}$

在

點處的支援平面，如下圖：

對於凸函式，若

$\nabla f(x) = 0$

，則

是

的全域性最小值點；而對於擬凸函式，若

$\nabla f(x) = 0$

，

未必是

的全域性最小值點。

二階條件

設函式

$f: \textbf{R}^n \rightarrow \textbf{R}$

二階可微。如果

是擬凸函式，那麼對

$\forall x \in \textbf{dom}f, \forall y \in \textbf{R}^n$

均有

$y^Tf(x)=0 \Rightarrow y^T {\nabla^2 f(x)} y \geq 0$

。

反過來，如果對

$\forall x \in \textbf{dom}f, \forall y \in \textbf{R}^n, y \neq 0$

均有ww

$y^Tf(x)=0 \Rightarrow y^T {\nabla^2 f(x)} y \geq 0$

，那麼

是擬凸函式。、

證明見P101。

3。4。4 保函式quasiconvexity的操作

非負加權的最大

對

$\omega_i \geq 0$

，

都是擬凸函式，則

$f = \max\{\omega_1 f_1,..., \omega_m f_m\}$

是擬凸函式。

這一性質可以拓展到一般的pointwise supremum：

若對

$\forall y$

，

$\omega(y) \geq 0$

且

是

的凸函式，則

$f(x) = \sup_{y \in C}\{\omega(y)g(x,y)\}$

是擬凸函式。

函式的複合

如果

$h: \textbf{R} \rightarrow \textbf{R}$

是

非減的

且

$g: \textbf{R}^n \rightarrow \textbf{R}$

是擬凸函式時，它們的複合函式

$f=h\circ g$

是擬凸函式。

擬凸函式和仿射函式（或linear-fractional函式）的複合函式仍然是擬凸函式。假設函式

是擬凸函式，則

和

$\tilde{g}(x) = f(\frac{Ax+b}{c^Tx+d})$

是擬凸函式，其中

$\textbf{dom}g=\{ x\ |\ c^Tx+d>0,\frac{Ax+b}{c^Tx+d} \in \textbf{dom}f\}$

。

最小化

如果

對

和

是jointly quasiconvex的，

是一個凸集，則函式

$g(x) = \inf_{y \in C} f(x,y)$

是擬凸函式。

3。4。5 透過一組凸函式來表示

3。5 log-convave（對數凸函式）和log-concave（對數凹函式）

3。5。1 定義

如果對所有

都有

且

是凸函式，那麼則稱

是log-convex的。

同樣如果對所有

都有

且

是凹函式，那麼則稱

是log-concave的。

是log-convex的當且僅當

$\frac{1}{f}$

是log-concave的。

函式 #FormatImgID_310# 是log-convex的充要條件是 #FormatImgID_311# 是凸集且 #FormatImgID_312# 且對 #FormatImgID_313#有

#FormatImgID_314#

。右端為

幾何平均值

。

根據函式的複合法則，當

是凸函式時

也是凸函式，所以

log-convex的函式也是convex的

。

例子：

多元正態分佈的機率密度函式是log-convex的

Gamma函式

$\Gamma(x)=\int_{0}^{\infty} u^{x-1}e^{-u}du$

在

$x\geq 1$

時事log-convex的

3。5。2 性質

二階可微的log-convex/log-concave函式

對於二階可微函式

，設

$\textbf{dom}f$

是凸集，可以得到

$\nabla^2 logf(x) = \frac{1}{f(x)} \nabla^2f(x) - \frac{1}{f(x)^2} \nabla f(x) \nabla f(x)^T$

，因此

是log-convex的充要條件是

$f(x) \nabla^2 f(x) \succeq \nabla f(x) \nabla f(x)^T$

；

是log-concave的充要條件是

$f(x) \nabla^2 f(x) \preceq \nabla f(x) \nabla f(x)^T$

。

乘法、加法、積分

log-convexity和log-concavity 對乘法和正數縮放是封閉的。

log-concave的函式的和不一定是log-concave的。（！！！）

log-convex函式的和是log-convex的。

拓展到積分形式：一般地，如果對

$\forall y \in C$

，

對x都是log-convex的，那麼函式

$g(x) =\int_C f(x,y)dy$

也是log-convex的。

例如，若

滿足

$p(x) \geq 0$

，那麼

的Laplace變換，

$P(z) = \int p(x) e^{-z^Tx}dx$

是log-convex的；當滿足

$\int p(x)dx =1$

時，

是一個機率密度函式，此時

被稱作

矩生成函式（moment generating functions）

，它的各階導數在

處的取值可以用來計算滿足

分佈的隨機變數的各階矩，而凸函式

被稱為

累積生成函式（cumulant generating functions

），它的各階導數在

處的取值可以用來計算滿足

分佈的隨機變數的各階累積量（一階對應期望，二階對應方差）。

log-concave函式的積分

在一定的條件下，log-concavity可以在積分下保持。

若

$f: \textbf{R}^n \times \textbf{R}^m \rightarrow \textbf{R}$

是log-concave的，那麼

$g(x) = \int f(x,y)dy$

是log-concave的。

這一結論可以推出雨多重要結論。例如log-concave的機率密度函式的邊緣分佈（marginal distribution）仍舊是log-concave的。例如log-concave對卷積操作（Convolution）是保持的。例如log-concave機率分佈函式的累積分佈函式（cumulative distribution function）是log-concava的。

3。6 convexity與泛化不等式

3。6。1 單調性與泛化不等式

設

$K \subseteq \textbf{R}^n$