房间里的大象：Ilya挑明AI的“高分低能”，呼吁要从研究到scale到再重回研究时代｜Jinqiu...

主要观点总结

文章主要讨论了Ilya Sutskever对AI范式的批判，包括当前AI模型的矛盾性，强化学习的“狭隘化”，研究人员的“奖励hacking”，评估的风险，以及从“scaling规模时代”重返“研究时代”的必要性。Sutskever提出，虽然模型在评估中表现优异，但其在现实世界的经济影响却远远落后。他强调了研究创新的重要性，并警告说，过度依赖现有的“scaling recipe”可能导致AI难以泛化到其他任务。Sutskever认为，我们需要重新思考整个训练方式，以找到在现实世界中泛化能力和经济属性上都更优的范式。

关键观点总结

关键观点1: 当前AI模型的矛盾性

模型在评估中表现惊人，但在现实世界中的经济影响却远远落后。

关键观点2: 强化学习的“狭隘化”

当前的强化学习训练可能使模型变得“过于专注和狭隘”，导致它们在某些方面能力增强，但在其他基础任务上却变得迟钝。

关键观点3: 研究人员的“奖励hacking”

为了取得测评的好成绩，researcher设计的RL训练环境，其灵感过多地来源于评测基准本身，从而导致模型过度拟合评测，而非真实世界的需求。

关键观点4: 评估的风险

真正的奖励作弊（reward hacking）是那些过于关注评估的人类研究人员。如果研究人员的灵感来源于评估，并专门设计强化学习（RL）环境以通过这些评估，就会造成评估表现与实际世界表现的脱节。

关键观点5: 从“scaling规模时代”重返“研究时代”

从2012年到2020年是研究时代，从2020年到2025年是规模化的时代。而现在，研究人员必须重新回到研究时代，专注于解决根本的泛化能力问题。