专访张祥雨：多模态推理和自主学习是未来的 2 个 「GPT-4」 时刻

主要观点总结

本期内容是拾象 CEO 李广密对大模型公司阶跃星辰首席科学家张祥雨的访谈，主要探讨了多模态大模型框架的发展、学术影响力、多模态领域的关键问题以及未来展望。张祥雨提出了 DreamLLM 多模态大模型框架，并分享了其对多模态领域技术难题的思考。他强调，尽管语言模型领域进步迅速，但多模态生成和理解的难度被低估了。未来多模态领域将有两个 GPT-4 时刻：多模态推理和自主学习。张祥雨还讨论了模型 scale 到万亿参数后的推理能力下降现象，并探讨了如何强化模型推理能力。此外，他探讨了 o1 范式的技术本质，并指出了多模态数据对模型智能的影响。他认为，多模态推理的 GPT-4 时刻最多还有 1 年到来，并展望了模型自主学习与 ASI 的研究主线。

关键观点总结

关键观点1: 多模态大模型框架的发展

张祥雨提出了 DreamLLM 多模态大模型框架，这是业内最早的图文生成理解一体化的多模态大模型架构之一，基于这个框架，阶跃星辰发布了中国首个千亿参数原生多模态大模型 Step-1V。

关键观点2: 学术影响力

张祥雨的论文总引用量已经超过了 37 万次，他的工作对多模态领域的发展具有重要影响。

关键观点3: 多模态领域的关键问题

张祥雨认为多模态生成和理解的难度被低估了，并探讨了未来多模态领域将有两个 GPT-4 时刻：多模态推理和自主学习。

关键观点4: 模型 scale 到万亿参数后的推理能力下降

张祥雨讨论了模型 scale 到万亿参数后的推理能力下降现象，并探讨了如何强化模型推理能力。

关键观点5: o1 范式的技术本质

张祥雨探讨了 o1 范式的技术本质，并指出了多模态数据对模型智能的影响。

关键观点6: 多模态推理的 GPT-4 时刻

张祥雨认为多模态推理的 GPT-4 时刻最多还有 1 年到来，并展望了模型自主学习与 ASI 的研究主线。