使用 hive 删除 dynamoDB 记录

Question

我有一个定期运行并将一些数据转储到 s3 的管道。 现在我想用转储到 s3 中的新数据完全替换 dynamoDb 中的现有数据。

如果 dynamoDB 表键存在于 s3 数据中，则 dynamo 记录应该得到更新。

如果 s3 数据中不存在键但存在于 dynmoDB 中，则需要删除 dynamo 中的记录，并且需要将任何新数据作为新记录插入到 dynamo 表中。

是否可以通过 hive 查询（连接到 DynamoDB 的外部 Hive 表）来完成此操作。 我知道我们可以使用 hive 查询将数据插入 dynamoDB。 我们可以使用 hive 查询从 dynamoDB 中删除项目吗？

Answer 1

跑步：

Insert Overwrite table <Dynamodbtablename> select columns from <s3_table>;

这将根据键列值覆盖现有记录。