得物新一代可观测性架构：海量数据下的存算分离设计与实践

得物技术 · 公众号 · 科技自媒体 · 2024-12-04 18:30

主要观点总结

本文主要描述了得物可观测性平台在处理大规模数据面临的挑战，以及如何通过采用AutoMQ和ClickHouse企业版技术实现存算分离架构，从而提高资源利用率、降低成本并提升系统性能。文章涵盖了Kafka的演进、ClickHouse的进化以及得物平台的实践案例。

关键观点总结

关键观点1: Kafka的演进和AutoMQ的优势

得物可观测性平台采用AutoMQ作为Kafka的替代方案，解决了Kafka在大规模数据处理中的存储成本高、冷读效率低、运维复杂性高等问题。AutoMQ通过存算分离架构、高效的查询性能、以及快速的弹性扩缩容能力等技术优势，提升了资源利用率和系统性能。

关键观点2: ClickHouse企业版的实践与应用

得物可观测性平台采用ClickHouse企业版，通过存算分离架构解决了传统开源分布式架构成本高、可扩展性差、容灾能力低等问题。企业版引入了Serverless计算模型、SharedMergeTree表引擎等技术，简化了集群管理，提升了集群的稳定性和业务的连续性。同时，通过负载均衡、性能优化、容灾能力增强等措施，得物平台实现了高性能和高效率的分布式链路追踪系统。

关键观点3: 得物平台的实践成果

通过采用AutoMQ和ClickHouse企业版技术，得物可观测性平台实现了资源成本的大幅降低，云账单成本同比下降50%以上，同时提升了系统的可用性和性能。今年通过AutoMQ架构支撑得物双十一，避免了繁琐的容量评估工作和额外的运维成本。AutoMQ集群上线以来，全程保持高可用，支撑了双十一期间的100%流量。