tanh激活函数（tanh激活函数优缺点）

1. tanh作为激活函数有什么优点
2. 激活函数有哪些
3. 什么是饱和函数

tanh作为激活函数有什么优点

tanh函数的优缺点：

优点：

部分解决了sigmoid关于zero-centered的输出问题。导数范围变大在（0,1）之间，而sigmoid在 (0,0.25)之间，梯度消失问题有所缓解。

缺点：

•幂运算，计算成本高 •梯度消失问题

激活函数有哪些

1. Sigmoid 激活函数

Sigmoid 函数的输出范围是 0 到 1。由于输出值限定在 0 到 1，因此它对每个神经元的输出进行了归一化；

用于将预测概率作为输出的模型。由于概率的取值范围是 0 到 1，因此 Sigmoid 函数非常合适；

2. Tanh / 双曲正切激活函数

3. ReLU 激活函数
4. Leaky ReLU

5. ELU 

6. PReLU（Parametric ReLU）

7. Softmax

8. Swish 

什么是饱和函数

饱和函数:

当一个函数既满足右饱和，又满足左饱和，则称为饱和函数，否则称为非饱和函数。

常用的饱和激活函数和非饱和激活函数：

饱和激活函数有如Sigmoid和tanh，非饱和激活函数有ReLU；相较于饱和激活函数，非饱和激活函数可以解决“梯度消失”的问题，加快收敛。

   饱和函数应该是说输入达到一定的值以后，输出就不再变化了，饱和了。它有固定公式，一般是分段函数。

到此，以上就是小编对于tanh激活函数优缺点的问题就介绍到这了，希望介绍的3点解答对大家有用，有任何问题和不懂的，欢迎各位老师在评论区讨论，给我留言。