使用 hive 刪除 dynamoDB 記錄

Question

我有一個定期運行並將一些數據轉儲到 s3 的管道。 現在我想用轉儲到 s3 中的新數據完全替換 dynamoDb 中的現有數據。

如果 dynamoDB 表鍵存在於 s3 數據中，則 dynamo 記錄應該得到更新。

如果 s3 數據中不存在鍵但存在於 dynmoDB 中，則需要刪除 dynamo 中的記錄，並且需要將任何新數據作為新記錄插入到 dynamo 表中。

是否可以通過 hive 查詢（連接到 DynamoDB 的外部 Hive 表）來完成此操作。 我知道我們可以使用 hive 查詢將數據插入 dynamoDB。 我們可以使用 hive 查詢從 dynamoDB 中刪除項目嗎？

Answer 1

跑步：

Insert Overwrite table <Dynamodbtablename> select columns from <s3_table>;

這將根據鍵列值覆蓋現有記錄。