BladeDISC++：Dynamic Shape AI 编译器下的显存优化技术

主要观点总结

本文介绍了阿里云PAI团队在动态形状深度学习编译器方面的最新研究，重点介绍了BladeDISC++项目。该项目旨在优化深度学习训练任务的显存峰值，主要面对动态场景下的挑战。文章详细描述了BladeDISC++的创新解决方案，包括操作融合、操作调度、自动重计算等技术，并通过实验评估了其在Llama2模型上的性能。最后，文章还介绍了PAI核心引擎团队的招聘信息。

关键观点总结

关键观点1: 研究背景

随着深度学习模型的动态性增强，动态形状深度学习编译器的重要性日益凸显。然而，这也带来了形状不确定性、优化算法复杂度增加以及显存分配动态性等多重挑战。

关键观点2: BladeDISC++项目介绍

BladeDISC++是阿里云PAI团队针对动态形状深度学习编译器推出的新项目，旨在优化深度学习训练任务的显存峰值，使深度学习训练任务可以用更少的显存资源处理更多的训练数据。

关键观点3: 核心技术

BladeDISC++通过构建Symbolic Shape Graph来描述Dynamic Shape之间的关系，在此基础上提出了基于Symbolic Shape的Operation Scheduling以及编译-运行时联合优化的Just-In-Time Auto Rematerialization方法。

关键观点4: 实验评估

在Llama2模型上的实验数据表明，BladeDISC++能够有效降低训练时的显存占用，优化效果可与静态形状环境相媲美，同时避免了冗余计算，提高了吞吐量。

关键观点5: 团队招聘信息

阿里云PAI核心引擎团队正在招聘AI编译器、大模型训练优化和推理优化方面的专家，欢迎感兴趣的朋友加入。

免责声明