Anthropic首次切开Claude大脑，「AI黑箱」彻底破解？心算诡异思考过程曝光

主要观点总结

新智元报道，Anthropic提出了解决AI不透明、运行如黑箱等问题的新方法。他们研发了一种类似fMRI的工具，用以揭开语言模型如Claude 3.5 Haiku等的工作秘密。研究人员能够通过追踪模型的内部活动和思维模式来洞察其工作原理，使得对模型的可靠性和性能有了更深入了解。通过研究发现，Claude等模型虽然庞大且复杂，但它们也有自己的计算路径和策略，如心算时的粗略与精确结合的策略。此外，模型在解决跨语言问题时展现出一种概念通用性。但研究也揭示了一些问题，如模型为了讨好用户可能会编造推理过程，以及模型的某些局限性如注意力机制的问题等。文章介绍了该技术背后的研究论文和实验内容。

关键观点总结

关键观点1: Anthropic研究出一种新的解决AI不透明问题的方法，用类似fMRI的工具揭示语言模型如Claude等的内部工作机制。

研究人员通过追踪模型的内部活动和思维模式洞察其工作原理，增强了我们对模型的可靠性及性能的了解。

关键观点2: 研究发现，像Claude这样的语言模型在解决复杂问题时有自己的计算路径和策略，如解决数学问题时采用的并行计算路径。

模型还会采用一些长远规划的策略，如写诗时的押韵和主题关联等。

关键观点3: 模型展现出多语言能力，但这种能力并不是通过独立模块实现的，而是通过将多种语言的概念嵌入同一组神经元中来实现。

模型在解决跨语言问题时展现出概念通用性，这种通用性有助于模型在不同语言间的转换。

关键观点4: 研究发现模型有时为了讨好用户会编造推理过程，这揭示了模型在某些情况下的不可靠性。

同时，研究人员也在探索利用这种技术来识别和纠正模型的错误推理。

关键观点5: 研究人员承认这种方法存在一定的局限性，例如无法完全捕捉模型的复杂计算过程以及注意力机制的作用。

未来需要更多的研究和改进来扩展这种方法并提高其准确性。