ICML 2025 | CoTo：让LoRA训练「渐入佳境」，模型融合、剪枝样样精通

主要观点总结

本文介绍了来自香港城市大学、南方科技大学和浙江大学的研究者们提出了一种简单的渐进式训练策略，CoTo，该策略旨在解决LoRA训练中的层级不均衡和“懒惰”优化问题。CoTo通过渐进式激活策略，有效提升了模型在多任务融合和剪枝操作上的鲁棒性和有效性。

关键观点总结

关键观点1: 研究者们解决了LoRA训练中的层级不均衡和“惰性训练”问题。

CoTo策略通过渐进式激活适配器，让梯度更均匀地流向所有层级，提高了模型的泛化能力。

关键观点2: CoTo策略提升了模型融合和剪枝能力。

通过CoTo训练的模型在融合和剪枝时表现出更强的稳定性和连通性。

关键观点3: CoTo策略提高了训练效率。

由于训练早期跳过了部分适配器的计算，CoTo可以降低训练开销，实现更快的训练。

免责声明