字节AI专家交流

主要观点总结

本文主要介绍了字节在AI算力、CPU采购、服务器和芯片使用情况、token调用量、团队构成、图像理解模型等方面的信息，并提供了未来模型上线的计划。

关键观点总结

关键观点1: AI 算力和 CPU 采购情况

字节全年AI CapEx预计为900亿+，CPU采购规模倾向扩大，24年采购65万台，25年底可能提升至85万台。CPU上修是因为字节云的自建和云资源扩容。

关键观点2: 服务器和芯片使用情况

字节的服务器和芯片使用涉及多种品牌和型号，包括NV、AMD、昇腾和寒武纪等。芯片占服务器的70%。

关键观点3: H20性能表现

H20在FP8精度下表现良好，但在FP16精度下约为H800的70%。H20在国内有很多未交付的货。

关键观点4: token调用量和业务应用

字节的token调用量持续增长，24年预估将达到40万亿日均。主要应用包括内容数据标签、短视频内容审核和客服等。

关键观点5: 团队构成和未来发展计划

团队由吴永辉带领，允许试错，团队构成包括原有团队转型、新增社招和校招、外部挖的大牛。模型未来有计划地陆续发布，包括视频理解模型和语音对话的端到端模型等。

免责声明