凸函数及它的一阶特征、二阶特征

什么是凸函数

直观的，图1是一维凸函数的示例。一维情况下，不严格的说，凸函数是弦在上的函数或者是曲线向上包（这些都是不严谨的说法）。

注意：在不同的教科书和资料中，对凸函数的定义有可能是相反的，在机器学习领域，一般都使用这个定义。

 凸函数的一阶特征

等号右边是对函数在x点的一阶近似（用该点的切线来表示）。

 凸函数的一阶特征的几何意义

一阶条件的意义是，对于函数在定义域的任意取值，函数的值都大于或者等于对函数在这点的一阶近似。用图来说明就是下方图：

比如说，在下方的无论是A点还是B点，还是这个函数上的任意一点，函数的值都大于或者等于函数在这点的一阶近似（切线近似）

这也就是凸函数的一阶特征的几何意义。

通过图可以很清楚地理解这个充要条件，但是，具体在应用中，我们不可能对每一个点都去计算函数的一阶导数，因此后面会说道利用凸函数的二阶特征来进行判断一个函数是否是一个凸函数。

凸函数的一阶特征的证明

好了，其实到第三部分，就已经对凸函数的一阶特征就做了详细的介绍了，这里再对它进行证明：

凸函数的二阶特征

假设函数f二阶可微，函数f是凸函数的充要条件是：其Hessian矩阵是半正定阵。

即

海瑟矩阵的定义如下：

凸函数的二阶特征证明

下面来自德川在课上做的笔记，我进行了部分注释：

凸函数二阶特征的几何意义

海瑟矩阵其实是多元函数的二阶梯度，海瑟矩阵半正定，也就是说多元函数的二阶梯度大于0.也就是一阶梯度是递增的。

那么凸函数的二阶特征的意思是：当海瑟矩阵半正定的时候，也就是说该函数的导数也是递增的时候，该函数是凸函数。那么对应于图像解释如下（下图是凸函数）：

在凸函数中，随着x的增加，A,B,C点的梯度（导数）是依次增加的，这也就是海瑟矩阵为半正定的时候，对应的二阶梯度是大于0的，也就是函数中的各点的一阶导数是依次增大的。

凸函数的一阶特征，二阶特征的作用

我们最直接的用途就是判断一个函数是否为凸函数，因为如果能判断一个函数是凸函数，由于凸函数具有很多很好的性质，那么后面我们就能够很快的得到其它的一些结论，总而言之就是给判断一个函数是否为凸函数提供了数学方法。

比如我们如果能够判断一个函数的海瑟矩阵是正定的，那么我们就可以说这个函数就是凸函数。判断完了凸函数，我们就可以利用凸函数的性质啦