【NTU博士论文】深度神经网络的参数高效推理与训练

主要观点总结

本文主要探讨了深度学习模型在推理和训练过程中的效率提升问题。文章聚焦于神经网络剪枝方法和参数高效优化算法的设计，以在推理和训练过程中提高深度学习模型的效率。文章提出了针对推理端的SODE和SFPK方法，以及针对训练端的LORO方法，这些方法分别在提高推理效率和训练效率方面做出了贡献。

关键观点总结

关键观点1: 神经网络剪枝方法和参数高效优化算法的设计

文章提出了SODE和SFPK方法，通过稀疏性演化视角建模最优子网络的演化轨迹，以提高推理效率；同时，提出了LORO方法，通过联合更新低秩因子，实现高效的低秩预训练，降低内存使用和加速训练与推理。

关键观点2: SODE和SFPK方法在推理端的贡献

SODE和SFPK方法从稀疏性演化视角对最优子网络进行建模，能够有效近似最优子网络在稀疏度逐渐增加过程中的演化，从而提高推理效率。

关键观点3: LORO方法在训练端的贡献

LORO方法通过联合更新低秩因子，实现高效的低秩预训练，在显著降低内存和计算开销的同时保持了模型性能。