Spark处理S3中的许多tar.gz文件

Question

我在s3中有许多格式为log-.tar.gz的文件。 我想对其进行处理，对其进行处理（从每一行中提取一个字段）并将其存储在新文件中。

我们有很多方法可以做到这一点。 一种简单方便的方法是使用textFile方法访问文件。

//Read file from s3
rdd = sc.textFile("s3://bucket/project_name/date_folder/logfile1.*.gz")

我担心群集的内存限制。 这样，主节点将过载。 是否可以根据群集类型粗略估计文件的大小？

我想知道是否有一种方法可以并行化从s3获取* .gz文件的过程，因为它们已经按日期分组了。

Answer 1

除了parallelize / makeRDD以外，所有创建RDDs / DataFrames方法都要求所有工作人员都可以访问数据， DataFrames这些数据并行执行而无需加载驱动程序。