用“分区”来面对超大数据集和超大吞吐量

主要观点总结

本文主要介绍了分区（partitions）在数据库中的应用，包括分区的原因、目的、方式以及相关的热点问题如一致前缀读、分区偏斜、热点消除、分区再平衡和请求路由（服务发现）。

关键观点总结

关键观点1: 分区的原因和目的

为了提高系统的可伸缩性，面对非常大的数据集或非常高的吞吐量，避免数据热点。分区通常和复制结合使用，保证数据副本的高可用。

关键观点2: 一致前缀读

由于复制延迟，分区数据库可能出现读取到错误顺序的数据问题，需要通过一致前缀读保证因果关系的正确性。

关键观点3: 分区方式

分区方式包括根据键的范围进行分区和散列分区。散列分区可以均匀分配数据，但可能带来范围查询的问题。

关键观点4: 热点消除

通过在主键上添加随机数等方法进行再次分区，以消除热点。但可能导致读取的复杂性增加。

关键观点5: 分区再平衡

当节点故障或需要更换时，需要进行分区再平衡。固定数量的分区和动态分区是常见的再平衡策略。

关键观点6: 请求路由（服务发现）

数据分区后，需要知道用户想要的数据在哪个节点上，这就是服务发现的问题。常见的解决方案包括允许访问所有节点、使用分布式的协调服务或要求客户端知道分区和节点的分配。