从s3复制到hdfs时缓慢的s3Distcp

Question

我正在使用s3disctcp将31,16,886个文件（300 GB）从S3复制到HDFS，花了4天时间才复制10,48,576个文件。我找不到工作，需要了解如何减少这个时间或者我在做什么错误。

s3-dist-cp --src s3://xml-prod/ --dest hdfs:///Output/XML/

它在AWS EMR机器上。

Answer 1

问题在于HDFS以及在处理大量小文件时性能不佳。 在将文件放入HDFS之前考虑组合文件。 s3distcp命令的 groupby选项提供了一种方法。

Answer 2

为什么不将整个过程作为单个应用程序管道的一部分？ 这样您就不必在HDFS中存储大量小型中间文件。

S3 File Reader - > XML Parser - > Pick Required Fields - > Parquet Writer（带旋转策略的单个文件）