万亿级 Kafka 消息规模下的降本增效之旅

主要观点总结

本文主要介绍了京东内部使用JDQ平台、CubeFS以及Apache Kafka的情况，面临的挑战，如何通过AutoMQ解决这些挑战，以及AutoMQ在京东生产应用的效果和未来展望。

关键观点总结

关键观点1: JDQ平台介绍

京东内部使用基于Apache Kafka构建的JDQ平台支持其业务，该平台赋能集团内部多个部门，搜索推荐、广告、点击流、实时大屏等业务线。

关键观点2: CubeFS介绍

CubeFS是一款云原生开源存储系统，是云原生计算基金会（CNCF）的毕业项目，京东作为该项目的早期发起者，在内部大规模应用，支撑了海量离在线业务的稳定运行。

关键观点3: 京东大规模应用Kafka时的挑战

存储、网络带宽浪费导致成本上升，Apache Kafka的架构不是Kubernetes云原生，导致在部署和扩缩容上遇到挑战。

关键观点4: AutoMQ如何解决京东Kafka挑战

AutoMQ采用计算与存储分离的共享存储架构，兼容S3 API，解决了京东内部JDQ云原生化过程中的主要挑战，包括降低存储和带宽成本，提高扩容效率等。

关键观点5: AutoMQ在京东生产应用的效果

采用AutoMQ新架构后，取得了降低集群存储和带宽成本，提高扩容效率等成效。

关键观点6: 未来展望

未来将在保证集群稳定、高可用的前提下，进一步推广和深化AutoMQ在京东的应用，促进数据基础设施全面云化、云原生化并且进一步降低数据基础设施的成本、提升效率。