将镶木地板文件从 S3 加载到 DynamoDB

Question

我一直在寻找将 Parquet 文件从 S3 加载（基本上为空和恢复）到 DynamoDB 的选项。 Parquet 文件本身是通过在 EMR 集群上运行的 spark 作业创建的。 这里有几点要记住，

1. 我无法使用 AWS 数据管道
2. 文件将包含数百万行（比如 1000 万行），因此需要一个高效的解决方案。 我相信 boto API（即使是批量写入）可能效率不高？

还有其他选择吗？

Answer 1

您能否只引用 Spark RDD 中的 Parquet 文件并让工作人员将条目放入 dynamoDB？ 忽略在每个工作人员中缓存 DynamoDB 客户端以在不同行中重用的挑战，它需要一些 scala 来获取一行，为 dynamo 和 PUT 构建一个条目就足够了。

顺便说一句：在这里按需使用 DynamoDB，因为它可以很好地处理峰值负载，而您无需遵守某些 SLA。

Answer 2

看看下面的答案： https ://stackoverflow.com/a/59519234/4253760

解释这个过程：

1. 创建所需的数据框
2. 在同一数据框中的新列中，使用.withColumn 创建新列并使用 psf.collect_list 转换为所需的集合/json 格式。
3. 删除所有不需要的（表格）列，只保留 Spark 中的 JSON 格式 Dataframe 列。
4. 按照答案中的说明将 JSON 数据加载到 DynamoDB 中。

我个人的建议：无论你做什么，都不要使用 RDD。 即使在 Scala 中，RDD 接口也比任何语言的 Dataframe API 慢 2-3 倍。 Dataframe API 的性能与编程语言无关，只要您不使用 UDF。