如何在同一个/不同的cassandra中从一个表快速迁移到另一个具有不同表结构的表？

Question

我在Cassandra中有一个表具有超过10,000,000条记录，但是由于某种原因，我想用相同的字段和几个其他字段来构建另一个Cassandra表，然后将以前的数据迁移到该表中。 现在，这两个表位于同一Cassandra集群中。

我想问一下如何在最短的时间内完成这项任务？

并且如果我的新表位于不同的Cassandra中，该怎么办？

任何建议将被认真考虑！

Answer 1

如果只需要向表中添加空白字段，那么最好的做法是使用alter table命令将字段添加到现有表中。 然后，无需复制数据，新字段​​在现有行中显示为null ，直到您将它们设置为某些值为止。

如果要更改新表中的数据结构，或将其写入其他群集，则可能需要编写一个应用程序以读取旧表的每一行，根据需要转换数据，然后将每一行写入新位置。

您也可以通过将数据导出到csv文件，编写程序以根据需要重组csv文件，然后将csv文件导入到新位置来执行此操作。

另一种可能的方法是使用Apache Spark。 您已将现有表读入RDD，将数据转换并过滤为新的RDD，然后将转换后的RDD保存到新表中。 那只会在同一集群中起作用，并且设置起来会相当复杂。