使用Spark将巨大的Cassandra表迁移到另一个集群

Question

我想将旧的Cassandra集群迁移到新的集群。

要求：-

我有一个10个节点的cassandra群集，我要迁移的表约为100GB。 我正在使用spark来迁移数据。 我的Spark集群有10个节点，每个节点都有大约16GB的内存。 在表中，我们有一些垃圾数据，我不想迁移到新表。 例如：-假设我不想转移cid = 1234的行。那么，使用spark作业迁移此记录的最佳方法是什么？ 我不能直接在cassandraRdd上进行过滤，因为cid并不是分区键中唯一包含的列。

卡桑德拉表：-

test_table (
    cid text,
    uid text,
    key text,
    value map<text, timestamp>,
    PRIMARY KEY ((cid, uid), key)
) 

样本数据：-

cid   | uid                | key       | value
------+--------------------+-----------+-------------------------------------------------------------------------
 1234 | 899800070709709707 | testkey1  | {'8888': '2017-10-22 03:26:09+0000'}
 6543 | 097079707970709770 | testkey2  | {'9999': '2017-10-20 11:08:45+0000', '1111': '2017-10-20 15:31:46+0000'}

我在想下面的事情。 但是我猜这不是最好的有效方法。

val filteredRdd = rdd.filter { row => row.getString("cid") != "1234" }
filteredRdd.saveToCassandra(KEYSPACE_NAME,NEW_TABLE_NAME) 

这里最好的方法是什么？

Answer 1

该方法非常好。 您可能想在DataFrames中编写它以利用行编码，但这可能只会带来一点好处。 此操作的关键瓶颈是从Cassandra进行写入和读取。

DF示例

 spark .read .format("org.apache.spark.sql.cassandra") .option("keyspace", ks) .option("table", table) .load .filter( 'cid !== "1234" ) .write .format("org.apache.spark.sql.cassandra") .option("keyspace", ks2) .option("table", table2) .save