OpenAI把Transformer训练成「几乎全零」，黑箱首次被彻底揭开

主要观点总结

本文介绍了OpenAI的一项研究，该研究通过直接在训练过程中保持Transformer权重的极度稀疏，从而揭示出Transformer的内部机制。这种方法的目的是让模型的自然结构变得可解释，可验证，并可操控。研究通过一系列实验验证了这种方法的可行性和优势。

关键观点总结

关键观点1: OpenAI通过保持Transformer权重的极度稀疏来揭示其内部机制。

与传统的事后解释方法不同，OpenAI的方法是在训练过程中直接约束模型的权重，使其保持稀疏，从而揭示出真正负责任务的计算电路。

关键观点2: 稀疏训练的好处。

通过稀疏训练，模型的结构变得清晰，可解释性强，可验证，并且有助于预测和理解dense模型的行为。此外，稀疏模型还可以用于调整dense模型的输出。

关键观点3: 实验验证的结果。

通过一系列实验，研究人员验证了稀疏模型的可解释性，包括电路规模的规律性，模型规模与电路大小的关系，稀疏电路对dense模型错误的推断能力，以及电路对dense模型的影响。