免训练加速61倍！陈怡然团队新作DPad：仅关注「彩票token」

主要观点总结

杜克大学团队发现扩散大语言模型在推理时仅需关注少量关键token，就能大幅提升推理速度和模型性能。新策略DPad能在不增加计算成本的情况下找出这些关键信息，实现速度和精度的双重提升。研究还发现dLLM的独特注意力机制，以及通过「事前筛选」策略进一步优化模型性能的方法。

关键观点总结

关键观点1: 杜克大学团队的新策略DPad能够使扩散大语言模型在推理时实现高达61-97倍的加速。

DPad通过一种零成本的先验筛选机制，找出模型计算中的关键信息，提升了推理速度。

关键观点2: DPad基于深度学习中著名的「彩票假说」，提出「扩散彩票假说」，即在dLLM的后缀token中存在一个稀疏的「中奖彩票」子集，能显著降低计算成本并提升模型性能。

这一发现证明了dLLM的全局规划能力并非依赖于特定位置的词元，而是一种分布式的冗余系统。

关键观点3: DPad实现了速度与精度的双重提升。通过「事前筛选」策略，DPad能够提升模型的语境学习能力，在严格匹配率方面取得显著成果。

在常规评测中，使用DPad的模型能够在保持高准确率的同时，实现惊人的推理速度提升。