使用REST端點將數據遷移到Cassandra

Question

我需要使用REST端點（返回JSON文件）來獲取數據，並將數據（JSON）加載到位於AWS上的Cassandra集群中。

這是一項遷移工作，涉及數百萬條記錄。 無法訪問源數據庫。 僅訪問REST端點。

1. 我有什么選擇？
2. 使用什么編程語言？（我正在考慮使用Python或任何腳本語言）？
3. 由於我將不得不遷移數百萬條記錄，因此我想同時處理這些作業。
4. 有哪些挑戰？

感謝您的時間和幫助。 --GK。

Answer 1

Cassandra 2.2.0提供了以JSON格式插入和獲取數據的功能，因此您可以使用它。

喜歡插入json數據。

創建表test.example（id int PRIMARY KEY，id2 int，id3 int）;

cqlsh>插入示例JSON'{“ id”：10，“ id2”：10，“ id3”：10}';

對於Select data as Json：

cqlsh> SELECT json * FROM示例；

[JSON]

{“ id”：10，“ id2”：10，“ id3”：10}