端侧 AI

主要观点总结

本文介绍了关于手机端侧AI LLM的共识与非共识。文章主要讨论了端侧LLM的性能瓶颈、落地难点、应用阻碍、技术领先情况、硬件需求以及特定厂商的LLM策略等。

关键观点总结

关键观点1: 端侧LLM性能瓶颈

文章指出，端侧LLM的性能瓶颈并非在于算力，而是内存速度。每生成一个token需要将模型在内存中读出一遍，因此提高内存速度是提升推理速度的关键。

关键观点2: 端侧LLM落地难点

文章认为，端侧LLM落地的最大阻碍不是技术能力，而是机制和交互。在国内，这可能是机制问题；从全球角度看，则是手机和应用的生态博弈。此外，LLM的交互机制需要文字输入，但大多数手机用户难以通过文字清晰表达自己的想法，这也影响了LLM的交互。

关键观点3: 技术领先情况

文章提到，各家在端侧LLM技术上不存在绝对的领先落后。例如，苹果的3b模型在某些测试中表现并不出色，但从国内技术追赶速度来看，训好一个端侧LLM大约需要一年左右时间，国内的一些公司已经表现出了强大的实力。

关键观点4: 硬件需求

文章强调，更大的硬件拉动可能是对DRAM的需求。更多的离线计算转为实时计算，更复杂的长推理任务，甚至更多的agent并行，这些都需要更强的内存性能。苹果虽然努力优化内存占用，但这个优化出来的空间很快就会被负载所占据。

关键观点5: 特定厂商的LLM策略

文章预测，苹果的端侧LLM有望推动机制进化，改进交互方式，影响用户心智。苹果有可能带动用户更广泛地接受和使用LLM。