Kubernetes环境中作业帮大模型服务流量调度优化实践

主要观点总结

本文介绍了作业帮技术团队针对Kubernetes环境中大模型服务流量调度问题提出的解决方案。通过整合成一个创新的模型网关，解决了传统Ingress组件在资源效率、稳定性和易用性上的局限性。文章详细描述了该方案的核心功能，包括模型路由、并发控制、KV Cache亲和、异构设备感知和基于token的成本分配等。

关键观点总结

关键观点1: 背景介绍

随着人工智能技术的快速发展，大语言模型在自然语言处理领域引发了深刻变革。大模型服务在实际应用中的使用越来越广泛，这些模型通常部署在云原生的基础设施上，需要复杂的流量管理机制以确保服务的稳定性、性能和可扩展性。

关键观点2: 传统流量调度方案的挑战

文章指出了传统Ingress组件在面对大模型服务时的局限性，包括基于路径的路由限制、缺乏并发控制、KV Cache利用不足、不支持异构硬件优化和成本跟踪缺失等问题。

关键观点3: 解决方案的核心功能

作业帮提出了一种综合的大模型服务流量调度方案，包括模型路由、并发控制、KV Cache亲和、异构设备感知和基于token的成本分配等核心功能，以解决传统Ingress组件的局限性。

关键观点4: 模型路由的优势

通过模型路由，可以根据请求元数据动态路由到对应的模型服务，无需请求方修改请求地址和手动配置Ingress规则，提高了易用性和可扩展性。

关键观点5: 并发控制的解决方案

针对GPU显存限制和大模型推理的并发能力问题，作业帮提出了一种基于最小堆的并发控制算法，通过实时跟踪每个后端Pod的活跃连接数，确保服务稳定性，实现了负载均衡。

关键观点6: KV Cache亲和的重要性

大模型推理中KV Cache对性能至关重要，作业帮的解决方案通过会话标识和亲和路由等技术，增加缓存命中率，提升推理效率。

关键观点7: 异构设备感知的应用

作业帮的解决方案能够根据硬件性能动态分配流量比例，优化资源利用率，通过识别推理硬件设备的型号和性能权重，实现加权调度。

关键观点8: 基于token的成本分配的意义

大模型推理计算成本高昂，作业帮的解决方案通过跟踪每个请求的token数，关联用户成本，实现成本透明和配额管理，支持多租户环境的计费和成本分配。

关键观点9: 应用场景

该方案适用于企业级AI服务平台、云服务提供商和研究实验室等场景，提供了易用、高效、稳定的大模型服务。

免责声明