优步的 Pinot 查询改革：简化层和提高可观测性

主要观点总结

优步重新设计了其Apache Pinot查询架构，以简化执行、支持更丰富的SQL并提高内部分析工作负载的可预测性。旧系统Neutrino被新系统Cellar取代，并使用Pinot的多阶段引擎轻量模式。新设计旨在降低复杂性、强制执行限制并为多租户提供更强的隔离。Pinot的查询架构改进包括引入Cellar轻量级代理、多阶段引擎轻量模式等，以改善查询性能、资源使用和透明度。优步还提供了官方客户端库以简化与Cellar的交互，并计划进一步改进MSE轻量模式。

关键观点总结

关键观点1: 优步重新设计Apache Pinot查询架构

为了提高执行效率、支持更丰富的SQL以及提高内部分析工作负载的可预测性，优步进行了这次设计变动。

关键观点2: 旧系统Neutrino被取代

旧有的Neutrino系统因为复杂性较高，查询计划难以解释，且租户间隔离性不足，已被Cellar轻量级代理所取代。

关键观点3: 引入Pinot的多阶段引擎轻量模式

为了改善查询性能并防止资源过度使用，Pinot 1.4引入了多阶段引擎轻量模式，该模式在叶子阶段强制执行可配置的记录限制。

关键观点4: 新架构的特点

新架构包括Cellar轻量级代理、多阶段引擎轻量模式、散射-收集执行模式等，旨在提供更强隔离性、改善查询性能和提高资源使用可预测性。

关键观点5: 其他改进和集成

优步还为MSE轻量模式增加了监控和日志增强功能，并集成了时序插件支持M3QL。官方客户端库和Grafana仪表板也用于简化与Cellar的交互和提供操作可见性。