将选择性数据从一个 dynamodb 表导出到同一区域中的另一个表的选项
[英]Options to export selective data from one dynamodb table to another table in same region
原文
2022-11-14 08:27:13
6
2
amazon-web-services/
amazon-s3/
amazon-dynamodb/
migration/
amazon-data-pipeline
问题描述
在进行转换后需要将数据从一个 dynamodb 表移动到另一个表
最好的方法是什么
我是否需要编写脚本从一个表中读取选择性数据并放入另一个表中
或者我需要按照 CSV 出口
2 个解决方案
解决方案1
0 2022-11-14 09:22:07
您需要编写一个脚本来执行此操作。 但是，您可能希望首先使用 DynamoDB 的原生 function 将数据导出到 S3，因为它不会影响表的容量，例如确保您不会影响生产流量。
如果您的表不服务生产流量或表的大小不是太大，那么您可以简单地使用 Lambda 函数来读取您的项目，转换然后写入新表。
如果您的表很大，您可以使用 AWS Glue 以分布式方式实现相同的结果。
解决方案2
0 2022-11-14 09:27:41
这是在产品上使用的实时表吗？
如果是我平时做的就是。
- 启用 Dynamo 流（如果尚未启用）
- 创建一个可以访问两个表的 lambda function
- 将转换逻辑放在 lambda 中
- 订阅 lambda 到发电机 stream
- 更新原始表上的所有字段（如更新名为“迁移”的新字段）
- 现在所有元素都将流经 lambda 并且它可以将它们通过转换存储在新表中
- 您现在可以切换到新表
- 检查一切是否仍然有效
- 删除 lambda，旧表，并禁用发电机流（如果需要）
这种方法是我发现的唯一一种可以保证迁移期间 100% 正常运行时间的方法。
如果该表不存在，那么您可以将其导出到 S3，然后将其导入到新表中
https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/DynamoDBPipeline.html
可以在 BigQuery 中以原子方式将数据从一个表移动到另一个表吗？
[英]Possible to atomically move data from one table to another in BigQuery?
如何将一个表中的列与 BigQuery 中另一个表中的数组进行比较？
[英]How to compare column in one table with array from another table in BigQuery?
如何将数据从一个表复制到另一个表中，该表在 GCP Bigquery 中有一个记录重复列
[英]How to copy data from one table into another table which has a record repeated column in GCP Bigquery
分区键与主表相同时的 DynamoDB GSI 表复制
[英]DynamoDB GSI table replication when partition key is same as the main table
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
在 DynamoDB 中将一个表复制到另一个表
可以在 BigQuery 中以原子方式将数据从一个表移动到另一个表吗？
我们可以从备份恢复到同一个 dynamodb 表吗
如何将一列的数据加载到同一个表的另一列中
如何将一个表中的列与 BigQuery 中另一个表中的数组进行比较？
如何从 Lambda NodeJS 查询 DynamoDB 表？
在 DynamoDB 中使用“OR”并通过另一个表模型进行选择
如何将数据从一个表复制到另一个表中，该表在 GCP Bigquery 中有一个记录重复列
如何将 AWS DynamoDB 表导出到 S3 存储桶？
分区键与主表相同时的 DynamoDB GSI 表复制
相关标签