在Cassandra中将数据从一个集群传输到另一个集群

Question

我有一个旧的Cassandra集群，我想摆脱它，并且只想将数据从旧集群的几个选定表中转移到我创建的新表中。 我尝试在具有约1500万行的表上使用Cassandra的COPY命令（每行约20列）。 当我尝试将数据从csv文件导入到我们的新集群中的同一表中时，我不断收到此响应：

无法导入20行：WriteTimeout-服务器错误：代码= 1100 [协调器节点超时，等待副本无des的响应] message =“操作超时-仅收到0个响应。” info = {'received_responses'：0，'required_resp onses'：1，'consistency'：'ONE'}，稍后将重试，尝试5次中的1次

显然，这种方法行不通。 有没有一种方法可以仅将某些表从一个集群流传输到另一个集群？ 注意，尽管我们有数百万行，但数据并不是那么大。 我拥有的最大表约为2.5 GB。

它们的键空间当前已配置为使用SimpleStrategy。 使用NetworkTopologyStrategy会有所帮助吗？ 我应该指出，我只想从几个表中流式传输数据，而忽略其他表。

Answer 1

我建议为这项工作使用sstableloader 。 仅供参考，您还可以使用nodetool快照来创建所需表的副本，并在需要时将它们scp。

另一方面，在任何类型的产品中使用简单策略绝不是一个好主意。 NetworkTopologyStrategy是一个很好的选择。

Answer 2

我已经成功使用了用于将数据从一个群集复制到另一个群集的策略。

通常，建议从快照还原。 但是，当用例不是将整个数据还原到一个新的集群中，而只是转移几个不是很大的表时，COPY FROM然后COPY TO是简单有效的策略。

坚持您的策略，只关注您遇到的错误。

我建议尝试使用较小的批量。

• cqlsh $ host -e“使用$ keyspace;复制$ keyspace。$ table从'$ {file}'到MAXBATCHSIZE ='1'”“