时间：2022-08-31 17:11:54 来源：www.xiaofamao.com 作者：喵喵
在sigmoid函数以前的线性回归中，我们使用了这个函数，使我们的输出值平滑地在0到1之间。 但是，训练的层数越多，训练也越困难。 主要是反向传播算法中由于残差随着网络传播的深度而减小，使得基网络残差太小，得不到有效的训练，或者无法训练。 坏处1:ReLU在训练时很脆弱，不小心神经元可能坏死。
如图2所示，在异或的问题中，找不到分离x和o的直线。 也就是说，这是不能用直线分类的问题，这种问题被称为非线性问题。 输出0时，由于激活函数的梯度几乎为0，在特征较弱的区域梯度几乎不下降，即与该特征无关的区域不影响其特征提取方式的训练。 当网络只包含线性卷积和全连通运算时，网络只能表示线性映射，增加网络深度仍保持线性映射，难以有效地建模真实环境中非线性分布的数据。
1、卷积神经网络动画演示讲解
在文献[12]中，提出了另一个激活函数MPELU，其同时具有ReLU、PReLU、ELU的优点。 当我们面对线性可分数据集时，可以很容易地用线性分类器解决分类问题。 假设我们网络的第I层有2个神经元x1、x2，第i 1层的神经元数量为1，如下图所示。 这就是Leaky-ReLU，但P-ReLU认为 也可以作为一个参数学习，原文献建议初始化a为0.25，不采用正则。
2、卷积神经网络激活层的作用
具体而言，在后方传递过程中，sigmoid向下方传递梯度中包含f'(x ) f ' ) x )因子)与sigmoid的输入相关的导数)，因此当输入进入饱和区域时，f ' ) x ) f ' ) x )接近0 关于该模型的3个神经元，本质上是3条直线的线性组合，使用3条直线对相关区域进行分类。 模型的数学表示如下图所示。
3、卷积神经网络中激活函数
另外，如图9所示，统计了各激活函数层在forward和backward过程中消耗的时间。 一个神经元同时接收多个信号，对这些信号进行一定的权重求和，经函数处理后输出新信号。 阅读：这里有一个简单的数学证明，证明任何线性函数的线性组合都是线性的。 deeplearndrz :最好给你原论文的作者。 不知道SE最初是不是被Jie Hu等人提到的。
每次实验共对训练组进行10，000次训练，每100次训练输出损失函数，每500次使用测试组数据进行测试。 PReLU的$\alpha $是随机的超级参数，在训练中通过反向传播学习，在测试时为固定值。
猜你喜欢
| ·ChatGPT的实现原理基于什么技术 |
| ·如何使用ChatGPT【使用指南】 |
| ·论文降重软件哪个好 |
| ·轻松上哈佛，ChatGPT让国际著名大学感到焦 |
| ·小发猫AI智能文章改写软件 |