一位资深ASIC专家

主要观点总结

文章讨论了关于博通ASIC大卫星和Ilya的“预训练放缓”论的相关观点，主要来自一位有17年AI芯片、自动驾驶、机器人等研发经验的专家。文章关键点包括：模型性能提升趋于平稳，但创新仍在进行；训练成本高昂，CSPs可能转向争夺客户和商业化；推理的重要性提升，开源模型地位上升；Test time compute测试时间计算不是未来常态；模型架构和尺寸的根本性变化将改变AI硬件要求；分布式计算和边缘计算的兴起；网络面临的挑战以及未来发展趋势；中国AI芯片的突破口；AI芯片厂商的三大阵营以及GPU与ASIC的优缺点等。

关键观点总结

关键观点1: 专家观点：模型性能提升接近瓶颈，但创新仍在发生。

专家认同模型性能提升趋于平稳，同时指出仍有创新方式如模型架构及压缩方式改变、硬件创新和更好的数据集来触发下一轮性能提升。

关键观点2: 训练成本高昂，CSP策略转变。

由于训练成本高昂，只有少数CSP有能力进行训练。它们的策略可能转向争夺客户、商业化以及客户留存。

关键观点3: 推理的重要性提升，开源模型地位上升。

随着对模型可部署性和创造营收的关注增加，推理的重要性提高。开源模型地位将提升，AI应用厂商可以在开源模型基础上构建应用。

关键观点4: Test time compute不是未来常态。

专家指出Test time compute在未来不会成为常态，其成本高且涉及延迟，可能有更好的方法解决准确性问题。

关键观点5: 模型架构和尺寸的变化将深刻改变AI硬件要求。

专家提到模型架构和尺寸的根本性变化将深刻改变AI硬件需求，使AI不仅局限于数据中心，还广泛应用于端侧。

关键观点6: 分布式计算和边缘计算兴起。

分布式计算是未来趋势，能根据问题的复杂性、性质进行拆分查询，解决计算能力方面的挑战。边缘计算的兴起势在必行。

关键观点7: 网络面临的挑战和未来发展趋势。

网络面临高速和低延迟问题的挑战。生态参与者认同开放连接协议、随时间改进是未来的趋势。

关键观点8: 中国AI芯片的突破口和AI芯片厂商三大阵营。

由于前沿半导体出口限制，中国AI芯片计算密度较低，可采用横向扩展方法。AI芯片厂商三大阵营包括英伟达GPU、CSP+博通/Marvell的自制ASIC、新兴AI芯片设计厂商。