BaikalDB 架构演进实录：打造融合向量化与 MPP 的 HTAP 查询引擎

主要观点总结

本文介绍了BaikalDB应对OLAP场景的挑战，通过向量化查询引擎和MPP多机并行计算等技术手段提升其查询性能。文章还提到了BaikalDB的HTAP架构的实现和收益，以及未来的展望。

关键观点总结

关键观点1: BaikalDB作为百度商业产品的分布式存储系统，面临OLAP场景的挑战。

随着数据增长，离线计算时效性和资源需求压力突显，BaikalDB需要在OLTP系统内实现适合大数据分析场景的查询引擎以应对挑战。

关键观点2: BaikalDB的传统火山模型在大数据量处理时存在性能瓶颈。

行存结构、逐行虚函数调用风暴和单调用链阻塞多核并行扩展等问题导致大数据分析性能呈超线性劣化。

关键观点3: 向量化查询引擎解决OLTP查询引擎性能瓶颈。

列式存储与硬件加速协同优化、批量处理提升缓存亲和性、多核并行计算架构创新等特性提升了OLAP场景查询性能。

关键观点4: MPP多机并行计算进一步提升OLAP查询性能。

分布式计算架构和线性扩展能力使得处理大数据量时能够显著缩短SQL响应时间。

关键观点5: BaikalDB的HTAP架构实现了自适应策略应对TP/AP请求。

通过智能执行引擎决策系统，BaikalDB能够自适应选择合适的执行引擎，实现一套系统同时满足OLTP和OLAP场景需求。

关键观点6: 项目收益。

BaikalDB的HTAP架构在大数据量查询上取得了显著的性能提升，同时降低了内存使用峰值。

关键观点7: 未来展望。

BaikalDB计划结合列式存储、CBO等技术进一步提升OLAP场景性能，并优化自适应MPP选择策略。