Cassandra 中的宽分区和数据倾斜有什么区别？

Question

据我了解，两者都告诉特定分区中的数据量不应超过其他分区。 所以我们应该选择合适的分区键来弥补这些问题。 但这两个习语之间到底有什么区别呢？

Answer 1

虽然它们可能由于相同的原因（数据模型和分区键基数）而发生，但节点之间的数据不平衡可能由于其他原因而发生。

如果分区键的选择性不够，则可能会出现数据分区量增长的情况，建议每个分区的最大数量为 100 Mb，但理想情况下不超过 10 Mb。

虽然具有低基数分区键可能会导致一些偏斜，但您也可能会在将令牌分配到环时出现偏斜。 与 MurmurPartitioner 相比，RandomPartitioner 更倾向于产生不平衡的结果——但即使是 Murmur 也可以通过使用allocate_tokens_for_keyspace/allocate_tokens_for_local_replication_factor 来改进——根据所使用的 C* 或 DSE 版本，相同的设置具有不同的名称，但想法是为分区程序提供更多与预期复制因子相关的信息，因此它会产生更多的平衡分配。

数据不平衡的另一种方式是拓扑选择 - 如果您使用 NetworkTopologyStrategy 创建具有键空间的集群（建议您应该这样做）和多个机架 - 除非每个机架的节点数相同，那么数据将不平衡。 例如（为了演示结果，而不是你会这样做。）

• 机架 1 = 5 个节点
• 机架 2 = 5 个节点
• 机架 3 = 2 个节点。

使用 3 和 100 GB 数据的 RF，每个机架将保存一个副本。 机架 1 和 2 中的节点每个大约为 20Gb，机架 3 中的每个节点大约为 50Gb（大约）。

这就是为什么使用机架时的正常建议是，随着扩展，每个 DC 将节点数增加 3。