DDB stream 限制创建小型 S3 文件
[英]DDB stream limits create small S3 files
问题描述
如果使用 Lambda，则 DDB 流中的有效负载限制为 6 MB，在我们的示例中生成的 S3 parquet 文件将始终远小于 <6 MB。 在大量数据的情况下，这会产生大量的小 S3 文件。 我看到有关 Spark 由于 S3 小文件过多而性能不佳的文章。
这不是限制吗？ DDB 建议如何解决这个问题？ 有人知道吗？ 谢谢您的帮助
0 个解决方案
如何改进 Spark 从 s3 读取（列出）25k 小文件
[英]How to improve reading (listing) 25k of small files from s3 by Spark
在S3中合并大量小型csv文件（不同列大小）的最佳方法
[英]Best way to merge tons of small csv files (different column size) in S3
从 PySpark 中的 S3 存储桶读取数百万个小 JSON 文件非常慢
[英]Reading Millions of Small JSON Files from S3 Bucket in PySpark Very Slow
为什么Spark创建的分区少于从S3读取的文件数量
[英]Why Spark create less partitions than the number of files whem reading from S3
如何在 Scala 的 Glue Job 中从 S3 文件创建动态数据帧？
[英]How to create dynamic data frame from S3 files in Glue Job in Scala?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.