时间：2022-08-31 16:55:43 来源：www.xiaofamao.com 作者：喵喵
虽然毫不吝惜牺牲网络性能，但并不试图通过将卷积直接替换为仅通过加法运算实现的更简单的其他运算来降低计算复杂度。 但是，深度神经网络的大部分计算都是浮点数之间的乘法运算，带来了很大的运算成本。
因此，等号的左边是输出的方差，右边是输入的方差，因为系数比1大得多，所以不能给出f的方差Var[F]使输出特性的方差保持一定，输出特性的数量级比输入的特性大幅度提高，如果不进行正规化的话，网络就无法正常化基于裁剪的方法的主要思路是消除冗余网络连接，实现压缩和原始网络的加速。
意思： GPU能解决大部分问题，但他手机装不下哦。 今后也想在手机上运行大型程序，但显然需要计算力更小的方法。 基于此本文提出加法神经网络的计算量非常小。 前人的缺点：深度神经网络二值化滤波大大降低了计算成本，但往往不能保持原有的识别精度。 结论表明，本文的加法神经网络是可行的，且计算量小，效果还不错。
前人的研究：在开创性工作[5]中提出的BinaryConnect，通过将网络的权值强制为二进制(如-1或1 )，可以用简单的累积代替许多乘法的累积操作。 最后，为了将教师网络知识成功转移到学生网络中，作者在蒸馏时实验了渐进操作，并一起迭代更新了CNN和ANN。 该算法如下图7所示。
具有大量可学习参数和乘法的卷积神经网络( CNN )在图像分类、目标检测、语义分割和低级别图像任务方面表现出了良好的性能，但这种功耗过大的问题限制了CNN在手机、相机等便携式设备中的应用。 看算法的话，实际上将普通的卷积乘法更新为本论文提出的乘法，因为没有考虑斜率下降式(5)，(6)学习率等式( 13 )，所以不知道。
但是，由于神经网络的计算量很大，不能直接应用于手机和无人车等移动设备。 截至2020年10月6日，关于加法神经网络[AdderNet]的工作有三项。 分别，本文提出的addernet通过加法而不是乘法来减少计算上的开销。 点击蓝字查看我们的代码查看我们的公众号。 请查看计算机视觉战队的代码并回复。 获取求和网络、源代码和论文链接收录到CVPR2020的结果已经提前发布，相信很多同学都知道吧。
狭义上，算法是计算机科学中的概念，简单地说，算法是指定义良好的计算过程，以一个或多个值为输入，以一个或多个值为输出产生。 针对这些问题，Hanting Chen等人提出了不需要大量浮点数乘法运算的加法神经网络Adder Neural Network，ANN，不仅实现了比低位宽度二进制神经网络更好的性能，而且实现了未来的迪
猜你喜欢
| ·ChatGPT的实现原理基于什么技术 |
| ·如何使用ChatGPT【使用指南】 |
| ·论文降重软件哪个好 |
| ·轻松上哈佛，ChatGPT让国际著名大学感到焦 |
| ·小发猫AI智能文章改写软件 |