Ilya 离开 OpenAI 后的首期播客，久违地被人类智慧安慰到了 | 42章经

主要观点总结

文章主要讲述了Dwarkesh Patel采访Ilya的内容，涉及时代转向、SSI的规划、关于Taste的三个黄金标准、Value Function的研究进展、RL的看法、情绪对决策的影响等方面。Ilya对AI的未来发展有着深入的见解，并提到了很多关于超级智能的思考。同时，他也提到了语言对行业研究的影响以及对未来的市场格局的预测。

关键观点总结

关键观点1: 关于时代的转向

Ilya给出了一个清晰的时间线划分：2012年至2020年为研究时代，大家都在尝试不同的AI想法；之后是Scaling时代，从GPT-3开始；之后将会回到研究时代。

关键观点2: 关于SSI的规划

Ilya表示SSI的目标是开发超级智能，目前不会发布中间产品，只会推出成熟的技术。他对超级智能的定义类似于一个“超级学习者”，能够在各个岗位上快速实习、犯错、进步。

关键观点3: 关于Taste的三个黄金标准

Ilya分享了他认为科学研究应具备的三个标准：生物学上的合理性、简洁的美感以及Top-down的信念感。

关键观点4: 关于Value Function的研究

Ilya认为当前RL模型还非常笨，缺乏直觉性的中途判断能力。未来的突破点在于让模型具备像人类一样从环境反馈中学习的能力。

关键观点5: 关于RL的观点

Ilya提出了一个反直觉的观点：RL可能是在弄傻模型。他认为预训练数据捕捉的是人类思想的投影，而当前的RL方法可能正在撤销这种概念印记。

关键观点6: 关于情绪的重要性

Ilya认为情绪是人类进化出的最有效的“压缩算法”，帮助人们快速做出决策。AI缺乏这种内在罗盘导致无法像人类一样做出正确的常识性决策。

关键观点7: 关于同理心的重要性

Ilya强调了同理心的重要性，他认为找到一种编码机制，让AI真正关爱有感知力的生命是通往安全对齐的关键。

关键观点8: 关于语言对思维的影响

Ilya指出语言会反向塑造行业的研究方向，提醒人们要警惕流行词汇的使用。

关键观点9: 对未来的预测和市场格局的观察

Ilya基于生物进化的判断认为未来不会出现一家垄断Superintelligence的公司，而是会出现专业分工的市场格局。