将数据从一个 cassandra 集群迁移到另一个

Question

嗨，我想将数据从我的 cassandra 集群迁移到另一个 cassandra 集群。 我看到很多帖子提出了各种方法，但都不是很清楚或有局限性。 看到的方法如下：

1. 使用 COPY TO 和 COPY FROM 命令：该命令易于使用，但似乎对其可以复制的行数有限制。
2. 使用 SSTABLELOADER：大多数文章建议使用 sstableloader 将数据从一个集群移动到另一个集群。 但是没有得到关于创建sstables步骤的明确细节（是否可以使用一些 nodetool 命令或要求创建 java 应用程序？这些是按节点还是每个集群创建的？如果创建了如何将它们从一个集群移动到另一个集群？）或者创建快照，这种方式很繁琐，因为它们是按节点创建的，并且必须转移到另一个集群。 也看到了建议使用并行 ssh 为整个集群创建快照的答案，但也没有得到任何示例。

任何帮助，将不胜感激。

Answer 1

如果您能够使用与源集群完全相同的拓扑来设置目标集群，那么最快的方法可能是简单地将数据文件从源集群复制到目标集群，因为这样可以避免处理数据以重新分配的开销到不同的节点。 为了使其工作，您的目标集群必须具有相同数量的节点、相同的机架配置，甚至分配给每个节点的相同令牌。

要获取源节点的令牌，您可以运行nodetool info -T | grep Token | awk '{print $3}' | tr '\\n' , | sed 's/,$/\\n/' nodetool info -T | grep Token | awk '{print $3}' | tr '\\n' , | sed 's/,$/\\n/' nodetool info -T | grep Token | awk '{print $3}' | tr '\\n' , | sed 's/,$/\\n/' 。 然后，您可以从输出中复制以逗号分隔的令牌列表，并将其粘贴到目标节点的 cassandra.yaml 中的initial_token设置中。 启动节点后，使用nodetool info -T检查其令牌以验证它是否具有正确的令牌。 对目标集群中的每个节点重复这些步骤。

使用与源集群完全相同的令牌、DC 和机架设置所有目标节点后，对源集群上的所需表进行快照，并将快照复制到目标集群上相应节点的数据目录. DataStax OpsCenter 可以自动执行备份和恢复数据的过程，并将对具有相同拓扑的集群使用直接复制。 虽然我以前没有使用过这个工具，但似乎美杜莎也可以做到这一点。

Answer 2

这确实是一个需要更多信息才能提供明确答案的问题。 例如，您是否需要保留元数据，例如数据上的 WriteTime 和 TTLs？ 目标集群是否具有相同的拓扑结构（节点数量、令牌分配等）。

基本上，您有以下选择：

1. 使用sstableloader - Cassandra 自带的工具，用于从备份等中恢复。要执行数据迁移，您需要创建要加载的表的快照（使用nodetool snapshot ），并在该快照上运行sstableloader 。 主要优点是它将保留元数据（TTL/WriteTime）。 主要缺点是你需要在源集群的所有节点上执行快照/加载，并且你需要在目标集群中有完全相同的架构和分区；
2. 您可以使用备份/恢复工具，例如， medusa ，它基本上可以自动执行快照和加载数据；
3. 您可以使用 Apache Spark 使用Spark Cassandra Connector将数据从一个表复制到另一个表，例如，如本博客文章中所述- 只需读取一个集群的表，然后写入另一个集群中的表。 适用于简单的复制操作，如有必要，您可以执行数据转换，但如果您需要保留元数据，则变得更加复杂。 另外它需要 Spark；
4. 使用DataStax Bulk Loader (DSBulk)将数据导出到磁盘上的文件，并加载到另一个集群中。 与cqlsh的COPY命令相比，它针对大量数据的加载/卸载进行了大量优化。 它适用于 Cassandra 2.1+ 和大多数 DSE 版本（古代版本除外）。