充电计划 | 端侧大模型的创新与应用

主要观点总结

文章介绍了InfoQ Pro推出的【充电计划】，该计划旨在分享技术最佳实践和成功案例，帮助技术人提升技能。文章还介绍了三个专题演讲，包括支付宝xNN端侧大模型实践、端大模型操作系统的架构优化及未来展望，以及华为端侧大模型操作系统的技术挑战和创新实践。听众可以从中了解端侧大模型的应用、技术选型和实现技巧，以及未来的发展趋势和痛点。

关键观点总结

关键观点1: 【充电计划】介绍

InfoQ Pro推出的每周技术PPT资料分享计划，旨在分享技术最佳实践和成功案例。

关键观点2: 专题演讲一：支付宝xNN端侧大模型实践

朱世艾博士分享支付宝在大模型时代的端侧AI技术应用，面对不同型号手机时如何以高覆盖和低资源消耗为目标构建适合APP生态的端大模型技术。

关键观点3: 专题演讲二：端大模型操作系统的架构、优化与展望

徐梦炜博士分享团队在大模型操作系统设计和优化方向的思考和尝试，包括GUI/API终端智能体构建、面向NPU的端侧大模型推理优化加速等。

关键观点4: 专题演讲三：华为端侧大模型操作系统技术挑战和创新实践

章武专家围绕当前端侧大模型日益增长需求，介绍华为手机端侧大模型入端技术挑战和创新实践，包括算法创新、模型小型化、推理加速优化等。