將選擇性數據從一個 dynamodb 表導出到同一區域中的另一個表的選項
[英]Options to export selective data from one dynamodb table to another table in same region
原文
2022-11-14 08:27:13
2
2
amazon-web-services/
amazon-s3/
amazon-dynamodb/
migration/
amazon-data-pipeline
問題描述
在進行轉換后需要將數據從一個 dynamodb 表移動到另一個表
最好的方法是什么
我是否需要編寫腳本從一個表中讀取選擇性數據並放入另一個表中
或者我需要按照 CSV 出口
2 個解決方案
解決方案1
0 2022-11-14 09:22:07
您需要編寫一個腳本來執行此操作。 但是，您可能希望首先使用 DynamoDB 的原生 function 將數據導出到 S3，因為它不會影響表的容量，例如確保您不會影響生產流量。
如果您的表不服務生產流量或表的大小不是太大，那么您可以簡單地使用 Lambda 函數來讀取您的項目，轉換然后寫入新表。
如果您的表很大，您可以使用 AWS Glue 以分布式方式實現相同的結果。
解決方案2
0 2022-11-14 09:27:41
這是在產品上使用的實時表嗎？
如果是我平時做的就是。
- 啟用 Dynamo 流（如果尚未啟用）
- 創建一個可以訪問兩個表的 lambda function
- 將轉換邏輯放在 lambda 中
- 訂閱 lambda 到發電機 stream
- 更新原始表上的所有字段（如更新名為“遷移”的新字段）
- 現在所有元素都將流經 lambda 並且它可以將它們通過轉換存儲在新表中
- 您現在可以切換到新表
- 檢查一切是否仍然有效
- 刪除 lambda，舊表，並禁用發電機流（如果需要）
這種方法是我發現的唯一一種可以保證遷移期間 100% 正常運行時間的方法。
如果該表不存在，那么您可以將其導出到 S3，然后將其導入到新表中
https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/DynamoDBPipeline.html
可以在 BigQuery 中以原子方式將數據從一個表移動到另一個表嗎？
[英]Possible to atomically move data from one table to another in BigQuery?
如何將一個表中的列與 BigQuery 中另一個表中的數組進行比較？
[英]How to compare column in one table with array from another table in BigQuery?
如何將數據從一個表復制到另一個表中，該表在 GCP Bigquery 中有一個記錄重復列
[英]How to copy data from one table into another table which has a record repeated column in GCP Bigquery
分區鍵與主表相同時的 DynamoDB GSI 表復制
[英]DynamoDB GSI table replication when partition key is same as the main table
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
在 DynamoDB 中將一個表復制到另一個表
可以在 BigQuery 中以原子方式將數據從一個表移動到另一個表嗎？
我們可以從備份恢復到同一個 dynamodb 表嗎
如何將一列的數據加載到同一個表的另一列中
如何將一個表中的列與 BigQuery 中另一個表中的數組進行比較？
如何從 Lambda NodeJS 查詢 DynamoDB 表？
在 DynamoDB 中使用“OR”並通過另一個表模型進行選擇
如何將數據從一個表復制到另一個表中，該表在 GCP Bigquery 中有一個記錄重復列
如何將 AWS DynamoDB 表導出到 S3 存儲桶？
分區鍵與主表相同時的 DynamoDB GSI 表復制
相關標簽