使用REST端点将数据迁移到Cassandra

Question

我需要使用REST端点（返回JSON文件）来获取数据，并将数据（JSON）加载到位于AWS上的Cassandra集群中。

这是一项迁移工作，涉及数百万条记录。 无法访问源数据库。 仅访问REST端点。

1. 我有什么选择？
2. 使用什么编程语言？（我正在考虑使用Python或任何脚本语言）？
3. 由于我将不得不迁移数百万条记录，因此我想同时处理这些作业。
4. 有哪些挑战？

感谢您的时间和帮助。 --GK。

Answer 1

Cassandra 2.2.0提供了以JSON格式插入和获取数据的功能，因此您可以使用它。

喜欢插入json数据。

创建表test.example（id int PRIMARY KEY，id2 int，id3 int）;

cqlsh>插入示例JSON'{“ id”：10，“ id2”：10，“ id3”：10}';

对于Select data as Json：

cqlsh> SELECT json * FROM示例；

[JSON]

{“ id”：10，“ id2”：10，“ id3”：10}