百度垂搜数据管理系统弹性调度优化实践

主要观点总结

本文介绍了百度垂搜检索数据管理架构在弹性机制建设上的一系列优化工作，包括服务发现、心跳管理模块重构，自动扩缩容，资源号扩分片进阶等。这些优化在扩展性、稳定性、成本效率等方面取得了显著成果。

关键观点总结

关键观点1: 服务发现、心跳管理模块重构

为了解决ETCD负载超发的问题，对服务发现和心跳管理模块进行了重构。通过引入新的服务和策略，扩展了系统的规模，降低了ETCD的负载，提高了系统的稳定性和扩展性。

关键观点2: 自动扩缩容

实现了全机房BS的自动扩缩容，使容量能够自适应调整。通过自动扩缩容服务周期性计算资源号维度的负载，根据负载情况调整资源号的副本数或PaaS层面的实例数。这一功能提高了资源利用率，减少了人工介入的需要。

关键观点3: 资源号扩分片进阶

针对资源号数据增长导致的分片内存超发问题，提出了扩分片进阶方案。通过打破原有分片扩展的瓶颈，实现了分片数量的动态扩展，支持了搜索创新业务数据量的增长。