经典ReLU回归！重大缺陷「死亡ReLU问题」已被解决

主要观点总结

本文介绍了德国吕贝克大学等机构的研究者提出的一种名为SUGAR的方法，解决了ReLU激活函数易陷入‘死亡ReLU问题’的局限性。SUGAR在不牺牲ReLU优势的情况下解决了该问题，实验表明，SUGAR显著增强了VGG-16和ResNet-18架构的泛化能力。文章还介绍了两种新型替代梯度函数：B-SiLU和NeLU，它们可以无缝集成到各种模型中。特别地，B-SiLU在不同架构和数据集上的表现均优于其他替代激活函数。

关键观点总结

关键观点1: SUGAR解决了ReLU的局限性，避免‘死亡ReLU问题’

SUGAR在不牺牲ReLU优势的情况下解决了其局限性，通过在前向传播中使用标准ReLU并保持其稀疏性和简单性，同时在反向传播时替换ReLU的导数为一个非零、连续的替代梯度函数，从而避免神经元因输出恒为0而导致梯度为零的问题。

关键观点2: 新型替代梯度函数B-SiLU和NeLU的介绍

文章提出了两种新型替代梯度函数：B-SiLU和NeLU，它们可以无缝集成到各种模型中。B-SiLU结合了自门控特性和可调下限参数，而NeLU作为ReLU的平滑导数替代品被引入。

关键观点3: SUGAR显著提升了模型的性能

实验表明，SUGAR结合B-SiLU在不同架构和数据集上的表现均优于其他激活函数。在CIFAR-10和CIFAR-100数据集上，SUGAR结合B-SiLU的使用使得VGG-16和ResNet-18的准确率得到了显著提升。