Grok 3用20万GPU帮AI界做了个实验：Scaling Law没撞墙，但预训练不一定

主要观点总结

本文讨论了媒体上关于不同预训练模型如DeepSeek、Grok 3等的讨论和比较，包括预训练阶段的Scaling Law是否成立、不同模型的优缺点以及未来模型的发展趋势。文章分析了不同模型的性价比和效率，并提出了关于模型规模扩大和性能提升的一些假设和推测。

关键观点总结

关键观点1: 预训练阶段的Scaling Law仍然成立，但遇到数据瓶颈时，增加模型尺寸可提高效果，但性价比降低。

文章指出预训练阶段的Scaling Law成立，但当数据不足时，增加模型尺寸可以提高效果。按照性价比排序，Test time Scaling Law > RL Scaling Law > 预训练阶段Scaling Law。

关键观点2: Grok 3作为通用基座模型的特点和争议

文章讨论了Grok 3作为通用基座模型的特性，包括其评估方法、性能提升手段、算力消耗等。提出Grok 3耗费大量算力推大模型规模的原因可能是为了在Post-Training阶段通过RL Scaling获得更好的效果。

关键观点3: 对Grok 3和DeepSeek模型的比较与推测

文章比较了Grok 3和DeepSeek等模型的特点和性能，并对一些假设进行了推测，如RL Scaling和Test Time Scaling的天花板问题，以及AGI解决方案的完整性等。

免责声明