损失函数升高（损失函数上升）

1. 损失函数收敛意义
2. 最大似然损失函数公式
3. huber损失函数的优势
4. 为什么梯度是最大变化率的方向

损失函数收敛意义

函数收敛域的意义:

首先，常数项级数是没有收敛域的，他们要不收敛，要不就发散。而函数项级数，他含有未知的x，相当于一个函数，只有函数x在收敛域之中，级数才收敛，不在收敛域中就发散（两个端点要考虑）。

然后，收敛是一个经济学、数学名词，是研究函数的一个重要工具，是指会聚于一点，向某一值靠近。收敛类型有收敛数列、函数收敛、全局收敛、局部收敛。

最大似然损失函数公式

−yi​logΠ(xi​)−(1−yi​)log(1−Π(xi​)

huber损失函数的优势

相比平方误差损失，Huber损失对于数据中异常值的敏感性要差一些。在值为0时，它也是可微分的。它基本上是绝对值，在误差很小时会变为平方值。误差使其平方值的大小如何取决于一个超参数δ，该参数可以调整。当δ~ 0时，Huber损失会趋向于MSE；当δ~ ∞（很大的数字），Huber损失会趋向于MAE。

为什么梯度是最大变化率的方向

梯度是函数在某一点的方向导数最大的方向，而方向导数就是函数在该点的变化率。

因此，梯度方向就是函数变化率最快的地方 。

在机器学习中，梯度下降是一种优化算法，它通过沿着梯度的反方向逐步更新参数来最小化损失函数。

在向量微积分中，标量场的梯度是一个向量场。标量场中某一点上的梯度指向标量场增长最快的方向，梯度的长度是这个最大的变化率。

到此，以上就是小编对于损失函数上升的问题就介绍到这了，希望介绍的4点解答对大家有用，有任何问题和不懂的，欢迎各位老师在评论区讨论，给我留言。