专访张祥雨：多模态推理和自主学习是未来的 2 个 「GPT-4」 时刻

主要观点总结

本期内容是拾象 CEO 李广密对大模型公司阶跃星辰首席科学家张祥雨的访谈。张祥雨专注于多模态领域，他提出了 DreamLLM 多模态大模型框架，并发布了中国首个千亿参数原生多模态大模型 Step-1V。他分享了关于多模态领域关键问题的思考，认为虽然语言模型领域的进步极快，但多模态生成和理解的难度被低估了。未来多模态领域将有两个 GPT-4 时刻：多模态推理和自主学习，并探讨了多模态数据对模型智能的影响。他还指出，未来可能还有其他的 GPT-4 时刻，但难以预估。张祥雨认为，为了实现多模态领域的 GPT-4 时刻，需要扩充预训练语料并扩展动作空间，并探讨了模型自主学习与在线学习的重要性，以及它们对通用人工智能（AGI）的影响。

关键观点总结

关键观点1: 张祥雨在多模态领域的贡献

张祥雨提出了 DreamLLM 多模态大模型框架，并发布了中国首个千亿参数原生多模态大模型 Step-1V。

关键观点2: 多模态领域的挑战

虽然语言模型领域的进步极快，但多模态生成和理解的难度被低估了。

关键观点3: 多模态领域的 GPT-4 时刻

未来多模态领域将有两个 GPT-4 时刻：多模态推理和自主学习。

关键观点4: 多模态数据对模型智能的影响

张祥雨探讨了多模态数据如何影响模型的智能，并强调了扩充预训练语料和扩展动作空间的重要性。

关键观点5: 模型自主学习与在线学习的重要性

张祥雨认为，为了实现通用人工智能，模型需要实现自主学习和在线学习，这将改变模型的学习方式和效率。