StarRocks存算分离在得物的降本增效实践

主要观点总结

得物技术团队将Clickhouse迁移到StarRocks数据库的经历。他们通过迁移，在查询性能、成本收益、数据时效性和稳定性等方面取得了显著的收益。同时，他们与社区保持紧密联系，获得了大量帮助并贡献了大量补丁。

关键观点总结

关键观点1: 迁移背景

得物内部同时使用多种OLAP引擎，从业务使用成本和运维维护的角度，决定向StarRocks迁移。

关键观点2: Clickhouse的困境

虽然单机性能优秀，但Clickhouse在大数据量下存在水平扩展性、元数据管理、数据一致性、join查询性能等问题。

关键观点3: 基于StarRocks的降本增效

StarRocks通过存算分离带来成本下降，高效的离线导入，以及重度使用物化视图提高查询效率。

关键观点4: 具体迁移过程

包括Clickhouse灰度迁移StarRocks、语法兼容、兼容Clickhouse函数、表/物化视图转换工具、优化查询性能、表结构优化、问题SQL优化和运维可观测性增强等步骤。

关键观点5: 成果展示

迁移后，智能运营底层AP引擎费用下降40%，存储费用下降5/6。查询性能大幅提升，P95耗时降低，查询成功率提升。数据时效性和稳定性也有显著提升。

关键观点6: 总结

此次迁移达到了预期目标，收获了业务和迁移经验，与社区保持了紧密联系并获得大量帮助。

免责声明