时间：2022-08-31 17:11:40 来源：www.xiaofamao.com 作者：喵喵
作者表示，损失函数是机器学习中损失函数( loss function )用来估算模型预测值f ) x )与真实值y之间的不一致程度，损失函数越小，损失函数越小。 Sigmoid和tanh神经元包括指数运算等消耗计算资源的操作，但ReLU不参与指数运算，通过对矩阵进行阈值计算很容易得到； 目前检测领域的两个主要大问题是： (1) SOTA算法有效，但计算成本较高；(2)边界元回归损失函数设计不合理。
Softmax函数将每个维的输出范围限制在[ 0，1 ]之间，并以所有维的输出之和为1表示概率分布。 为了解决IoU不可测现象，引入负Ln范数间接计算了IoU损耗。
1、神经网络损失函数设计
也就是说，在模型输出和真值误差服从高斯分布的假设下，由于最小化方差损失函数与极大似然估计本质上一致，因此在满足该假设的情况下，例如在回归中，平均方差损失是较好的损失函数选择； 在不满足该假设的情况下，例如在分类中，平均方差损失不是个好选择。
2、如何理解神经网络的损失函数
假设输出层为3个神经元，未激活的输出为3，1和-3，则求出各自的指数式时，为20，2.7和0.05，归一化系数为22.75。 这样，三个类别的概率输出分布为0.88，0.12和0。 多分类任务通常使用softmax将logits转换为概率形式，因此多分类的交叉熵损失也称为softmax损失，其计算方法如下：
3、神经网络损失函数作用
文章来源于AI。 作者黄鸿波在2018年出版了《TensorFlow进阶指南基础、算法与应用》这本书。 今天，我将公开这本书中关于常见损失函数的一节内容。 希望能帮到大家。 目标函数( Objective Function )是一个更通用的术语，通常表示机器学习和机器学习以外的领域(例如逻辑优化)中使用的希望优化的函数。 例如，最大似然估计( MLE )中的似然函数是目标函数。
4、理解神经网络损失函数
缺点：由图可知，0点处的导数不连续，导致求解效率下降，收敛速度变慢； 即使对于小的损失值，梯度也和其他区间的损失值的梯度一样大，因此不利于网络的学习。 上一节论述了根据Sigmoid的函数特性，反向传播算法的收敛速度变慢的问题，如何改善呢？ 也就是说，来自IoU的损失都被称为Distance-IoU loss，是天津大学数学学院的研究人员在这篇发表于AAAI2020的论文[10]中首次提出的。
俗话说，任何事情都一定有它的两面性。 因此，没有万能的损失函数适用于所有机器学习任务。 因此，这里需要了解每个损失函数的优点和局限性，以解决实际问题。
猜你喜欢
| ·ChatGPT的实现原理基于什么技术 |
| ·如何使用ChatGPT【使用指南】 |
| ·论文降重软件哪个好 |
| ·轻松上哈佛，ChatGPT让国际著名大学感到焦 |
| ·小发猫AI智能文章改写软件 |