华为云携手工商银行落地金融业首个Serverless NPU弹性算力调度技术

主要观点总结

本文介绍了AI技术的快速发展对AI算力基础设施提出的挑战和机遇，特别是多样化、碎片化的应用场景和高并发、低延迟的实时响应要求。华为与工商银行合作落地了Serverless NPU弹性算力调度技术方案，实测结果表明该方案可以显著提高AI推理服务的启动效率和算力资源利用率。文章还提到了该技术方案在工商银行的实际应用情况和其带来的效益，包括资源池内训推任务精细化的快速切换、推理实例的弹性扩缩容、算力的动态供给等。最后，文章指出这一技术标志着算力资源供给模式迈向‘随取随用’的新阶段，并且华为云将继续完善该方案，为金融客户的高质量发展注入新动能。

关键观点总结

关键观点1: AI技术的快速发展对AI算力基础设施提出新的挑战和机遇。

随着AI技术的爆发式演进，多样化、碎片化的应用场景和高并发、低延迟的实时响应要求使得现有AI算力基础设施面临前所未有的挑战。

关键观点2: 华为与工商银行合作落地了Serverless NPU弹性算力调度技术方案。

该技术方案成功将千亿MoE大模型推理服务启动时间缩短至百秒级，启动效率提升10倍以上，实现了算力供给模式的转型。

关键观点3: Serverless NPU弹性算力调度技术方案的研发与应用。

该技术通过软硬协同的系统级优化，解决了传统方案存在的算力资源利用率低下和推理服务启动耗时过长的问题。

关键观点4: Serverless NPU技术在工商银行的实际应用情况和效益。

该技术广泛应用于细粒度动态资源池调度，通过分钟级推理服务启动能力实现资源池内训推任务快速切换，充分利用低谷期资源。同时支持推理实例的弹性扩缩容和动态算力供给，有效压缩算力空置窗口。

关键观点5: 算力的动态弹性调度和高效利用的探索。

华为云与工商银行的合作不仅实现了算力的动态弹性调度，而且探索出了一条高效利用算力资源的可行路径，标志着算力资源供给模式迈向‘随取随用’的新阶段。