LeCun在Meta的最后论文？还是共同一作，LeJEPA：JEPAs理论拼图补完

主要观点总结

LeCun在Meta发表的最新论文LeJEPA解决了JEPA架构面临的关键问题。通过提出全面的理论，并具体化为LeJEPA，论文实现了简洁、可扩展且理论基础的训练目标。实验表明，LeJEPA框架能在不同架构和数据集上稳定训练，且无需复杂的启发式方法。此外，LeJEPA的训练损失为模型质量提供了有意义的信号，并在特定领域的数据集上表现出优于前沿模型的迁移学习效果。

关键观点总结

关键观点1: LeCun团队提出的LeJEPA解决了JEPA架构的嵌入分布问题，证明了各向同性高斯分布是基础模型的最佳嵌入分布。

团队引入了概略各向同性高斯正则化（SIGReg）目标，通过随机投影和特征函数匹配来强制嵌入服从理想的各向同性高斯分布。这一理论结果将JEPA的设计从依赖启发式探索转向了有目标的、基于理论的最优化。

关键观点2: LeJEPA框架具有简洁性和鲁棒性。

整个设计只有一个权衡超参数，具有线性的时间和内存复杂度，在不同超参数、架构和领域中保持高度稳定性。此外，它易于实现，分布式训练友好型实现只需约50行代码。

关键观点3: 实验表明LeJEPA框架在多个数据集和架构上表现优异。

在ImageNet-1K上进行预训练并进行线性评估，LeJEPA（ViT-H/14）达到了79%的准确率。更重要的是，LeJEPA在特定领域的数据集上，直接进行领域内预训练的效果优于基于DINOv2的迁移学习。这证明了有原则的SSL可以解锁以往被认为在小型数据集上不切实际的领域内预训练。