车载大模型计算分析：存储带宽远比算力重要

主要观点总结

本文主要介绍了关于自动驾驶和智能座舱领域的公众号“阿宝1990”所关注的大模型相关话题的讨论。文章详细阐述了车载大模型的现状和发展趋势，包括模型参数、推理计算过程、存储带宽的重要性以及不同计算架构的分析等。

关键观点总结

关键观点1: 公众号介绍及内容概览

“阿宝1990”公众号专注于自动驾驶和智能座舱领域，每天发布汽车相关干货。本文是关于大模型的讨论，涵盖了车载大模型的现状和发展趋势。

关键观点2: 大模型的定义和现状

当前车载大模型的定义尚未统一，但相对于早期的CNN模型，现代的大模型如特斯拉使用的RegNet、小米的UniOcc等都可以称为大模型，但与真正意义上的ChatGPT之类的LLM大模型相比，它们只能算是微模型。

关键观点3: 端到端大模型的出现

端到端大模型的出现改变了现状，这种模型内嵌了一个小型LLM，随着数据的增加，模型参数会越来越大。这种模型的推理过程分为两个阶段：Prefill和Decoding。

关键观点4: LLM推理计算过程的分析

LLM的推理计算过程中，Multi-Head Attention是关键，其中的计算主要集中在矩阵乘法上。在Decoding阶段，Token是逐个生成的，这导致了计算过程中的串行性，而非GPU擅长的并行计算。

关键观点5: 存储带宽在LLM推理中的重要性

存储带宽在LLM推理中非常重要，甚至决定了推理计算速度的上限。车载领域对存储的需求远高于传统LLM，因此存储的选择如HBM、GDDR等变得至关重要。

关键观点6: 现状和挑战

当前，尽管有GDDR6等解决方案，但要流畅运行百亿级别的大模型仍然面临挑战。未来，随着GDDR7等技术的发展，大模型在车载领域的应用将更加广泛。

免责声明