多元凸函数（多元凸函数的性质）

1. 有没有处处不可导的凸函数
2. 凸函数的定义是什么
3. 凸函数一定连续吗

有没有处处不可导的凸函数

没有。凸函数最多可以有：可数无穷多个不可导的点。因为凸函数不可导的点只有一种情形：该点左右导数都存在，但不相等。又因为是凸函数，导数递增，所以在不可导点：左导数<右导数（严格小于）。这样的点只能有可数个。

凸函数的定义是什么

简单说下这个问题吧。

考虑最简单的一类神经网络，只有一个隐层、和输入输出层的网络。也就是说给定 组样本 ，我们网络的经验损失函数可以写成：

就是我们要优化的权重： 代表输入层到隐层的权重， 代表隐层到输出层的权重。这里我们取 损失函数和ReLU作为我们的激活函数。即上式中（用 代表对向量每一个元素取max）

注意到虽然像取平方，ReLU激活函数 ，求内积这些“函数”单独来看都是凸的，但他们这么一复合之后就不一定是凸的了。一些常见的判断凸函数的方法请见：

怎么判断一个优化问题是凸优化还是非凸优化？

为了方便说明 这个函数是非凸的，我们需要一个经典引理：一个高维凸函数可以等价于无数个一维凸函数的叠加。

一个（高维）函数是凸的，当且仅当把这个函数限制到任意直线上它在定义域上仍然是凸的。这是凸分析里很基本的一个定理，不熟悉的同学不妨尝试用定义来证明它。

更正式的来说，

凸函数一定连续吗

1. 紧集上的连续严格凸函数是有唯一极值点的。可以用反证法证明，假如x1, x2都是极值点，那么因为严格凸与x1,x2是极值点矛盾。证毕。

2. 开集上的严格凸函数不一定有极值点。比如通过求二阶导可以验证其在(-∞,0]是凸的，但是不存在极值。

3. 有界集上的连续可微函数是一定能通过梯度下降法找到极值点的，因为有如下定理（见[1], Page 38)："设pk是下降方向（不一定是梯度），ak是步长并满足Wolfe条件，设目标函数f在Rn上有界，且在开集N上连续可微，N是包含{x: f(x)<=f(x0), x0是初始点}的集合，假设▽f在N上Lipschitz连续，那么有"其中θk是下降方向pk与-▽f的夹角。

通过这条定理可以证明，梯度下降法和牛顿法，逆牛顿法都是收敛的。

(1) 令pk = -▽f 可推出，故梯度下降法收敛(2) 令可推出，故牛顿法收敛。

(3) 令，其中Bk是对称矩阵，可推出，故拟牛顿法收敛。

4. 理论上步长ak应该是计算出来的，在梯度下降法实际应用中通常都是把步长选取一个较小的ak(取大了会震荡)，是一个折衷的办法，但是实际效果还不错。参考文献[1] Numerical Optimization 2ed. Chapter 3.

对。 凸函数的性质之一为： 定义在某个开区间C内的凸函数f在C内连续，且在除可数个点之外的所有点可微。如果C是闭区间，那么f有可能在C的端点不连续。

凸函数的定义出发, 凸函数与连续的关系, 得出了连续函数不一定是凸函数, 凸函数也不一定连 续的结论, 给出了判别连续凸函数的...内闭连续...凸函数在所定义的区间内是内闭连续的，因为凸函数在定义域的内部单侧可导，所以单侧连续，从而连续。

不连续的点出现在端点上，只要端点处的函数值大于其单侧的极限值，都能保持凸性

到此，以上就是小编对于多元凸函数的性质的问题就介绍到这了，希望介绍的3点解答对大家有用，有任何问题和不懂的，欢迎各位老师在评论区讨论，给我留言。