下一代 AI 系统怎么改？让 AI 自己改？!

主要观点总结

文章介绍了机器之心PRO的会员通讯中关于AI和机器人行业的三个关键话题：下一代AI系统的自我改进、“自进化”范式以及具身智能技术的发展。文章详细阐述了AI领域的进步，包括大型语言模型的构建和数据的枯竭，导致寻求新的建模范式；以及如何在人类监督之外提升模型的自我改进能力等问题。

关键观点总结

关键观点1: 下一代AI系统的自我改进与“自进化”范式

随着互联网上人类产出的数据的枯竭和人类数据的局限性，人们开始尝试让机器与世界互动产生经验，并将其作为燃料改进自身，从而发现人类未知的知识。这推动了AI系统的自我改进和“自进化”范式的出现。一些研究者开始从单纯的训练模型向让模型学会自我学习和自我进化转变。

关键观点2: DGM（达尔文哥德尔机）的实现与表现

DGM是一种受达尔文进化论启发的自改进系统，通过基础模型和开放式算法创建和评估新的AI智能体，并能够自我改进。在实验中，DGM在解决某些任务上的性能表现通过自我学习得到了显著提升。

关键观点3: 自进化与SL/RL的不同及数据问题

自进化作为一种学习范式，与标准的监督学习（SL）和强化学习（RL）在关键方面有所不同。自进化框架依赖于模型生成自身训练数据的能力，因此数据管理算法必须纳入学习框架。此外，自进化范式的研究涉及不同实践和交叉影响，如基础模型、强化学习和在线学习、认知神经科学等领域。

免责声明