ACL 2024 | 提升大模型持续学习性能，哈工大、度小满提出共享注意力框架

主要观点总结

本文介绍了一篇关于大模型实际部署中如何赋予其持续学习能力的论文。论文针对大模型在实际部署过程中所面临的灾难性遗忘和知识迁移两大挑战，提出了共享注意力持续学习框架SAPT。该框架旨在通过共享注意力学习与选择模块和注意力反思模块的设计，同时应对灾难性遗忘和知识迁移问题。

关键观点总结

关键观点1: 背景介绍

随着大模型的广泛应用，如何赋予大模型持续学习的能力成为一个重要挑战。大模型在实际部署过程中需要面对灾难性遗忘和知识迁移两大难题。

关键观点2: SAPT框架的提出

为了应对上述挑战，论文提出了共享注意力持续学习框架SAPT。SAPT框架由共享注意力学习与选择模块和注意力反思模块组成。

关键观点3: SAPT框架的工作原理

SAPT通过共享注意力操作，使PET块的学习和选择过程对齐，并通过注意力反思模块确保来自先前任务的输入仍然可以正确地执行相应的共享注意力操作。此外，SAPT还通过生成式回放得到伪样本，用来对Query Projection层进行约束。

关键观点4: 实验结果

实验结果表明，SAPT在平均性能、遗忘率、前向迁移和反向迁移等指标上均表现出优异的表现。此外，SAPT还具有良好的通用性，可以在不同的模型规模和架构上应用。

关键观点5: 与其他学习方法的比较

与其他参数高效微调方法相比，SAPT在缓解灾难性遗忘和促进知识迁移方面表现出更优越的性能。此外，SAPT结合度小满轩辕大模型，展示了其在实际应用中的潜力。