强凸函数（严格凹函数）

1. 凸函数的定义是什么
2. 严格凹函数
3. 严格凹函数的定义
4. 凸函数是上凸还是下凸的
5. 怎样证明凸函数

凸函数的定义是什么

简单说下这个问题吧。

考虑最简单的一类神经网络，只有一个隐层、和输入输出层的网络。也就是说给定 组样本 ，我们网络的经验损失函数可以写成：

就是我们要优化的权重： 代表输入层到隐层的权重， 代表隐层到输出层的权重。这里我们取 损失函数和ReLU作为我们的激活函数。即上式中（用 代表对向量每一个元素取max）

注意到虽然像取平方，ReLU激活函数 ，求内积这些“函数”单独来看都是凸的，但他们这么一复合之后就不一定是凸的了。一些常见的判断凸函数的方法请见：

怎么判断一个优化问题是凸优化还是非凸优化？

为了方便说明 这个函数是非凸的，我们需要一个经典引理：一个高维凸函数可以等价于无数个一维凸函数的叠加。

一个（高维）函数是凸的，当且仅当把这个函数限制到任意直线上它在定义域上仍然是凸的。这是凸分析里很基本的一个定理，不熟悉的同学不妨尝试用定义来证明它。

更正式的来说，

严格凹函数

凹函数是一个定义在某个向量空间的凸集C（区间）上的实值函数f。设f为定义在区间I上的函数，若对I上的任意两点X1<X2和任意的实数λ∈（0，1），总有f(λx1+(1-λ)x2≥λf(x1)+(1-λ)f(x2), 则f称为I上的凹函数。

如果定义在某一区间上的一元实函数是连续函数，且对这一区间中的任何两点X1、X2，当X1<X2时，有不等式

其中q1、q2为正数，q1+q2=1，这时，我们把函数f(x)叫做凹函数，或叫做下凸函数。

如果把上述条件中的“≥”改成“>”，则叫做严格凹函数，或叫做严格下凸函数。

如果y=f(x)是(严格)凹函数，那么它的图象是(严格)凹曲线，或叫做(严格)下凸曲线。

严格凹函数的定义

数学模型中的一种，在数学当中，凹函数是凸函数的相反。 凹函数是一个定义在某个向量空间的凸集C（区间）上的实值函数f。设f为定义在区间I上的函数，若对I上的任意两点X1<X2和任意的实数λ∈（0，1），总有f(λx1+(1-λ)x2)≤λf(x1)+(1-λ)f(x2), 则f称为I上的凹函数。

凸函数是上凸还是下凸的

在二维环境下，就是通常所说的平面直角坐标系中，可以通过画图直观地看出一条二维曲线是凸还是凹，当然它也对应一个解析表示形式,就是那个不等式。

但是，在多维情况下，图形是画不出来的，这就没法从直观上理解“凹”和“凸“的含义了，只能通过表达式，当然n维的表达式比二维的肯定要复杂.凸函数,是数学函数的一类特征。凸函数就是一个定义在某个向量空间的凸子集C（区间）上的实值函数。

怎样证明凸函数

1. 利用二阶导数的定义：如果函数的二阶导数恒大于等于零，那么该函数是凸函数。具体而言，对于定义域内的任意 x，如果函数 f(x) 的二阶导数 f''(x) 大于等于零，则该函数是凸函数。

2. 利用 Jensen 不等式：如果对于定义域内的任意 x 和 y，以及 0≤θ≤1，有 f(θx + (1-θ)y) ≤ θf(x) + (1-θ)f(y)，则函数 f(x) 是凸函数。这个不等式表明函数的值在两个点的线段上，不超过这条线段连接的两个点在函数上对应点的值。

3. 利用一阶导数的定义：如果函数在定义域内的任意两点上连线上的值不超过这两点在函数上的对应值，那么该函数是凸函数。具体而言，对于定义域内的任意 x 和 y，如果 f(y) ≥ f(x) + f'(x)(y-x)，则该函数是凸函数。

到此，以上就是小编对于强凸函数的定义的问题就介绍到这了，希望介绍的5点解答对大家有用，有任何问题和不懂的，欢迎各位老师在评论区讨论，给我留言。