如何优化从 S3 读取？

Question

 dyf_pagewise_word_count = glueContext.create_dynamic_frame.from_options(
 connection_type="s3",
 format="csv",
 connection_options={
     "paths": ["s3://somefile.csv/"],
     'recurse':True, 
     'groupFiles': 'inPartition', 
     'groupSize': '100000'
 },
 format_options={
     "withHeader": True,
     "separator": ","
 }
)

从 S3 读取需要 45 秒。 有什么办法可以优化阅读时间吗？

Answer 1

如果您使用的是 glue 3.0，则可以尝试使用optimizePerformance选项。 它批处理记录以减少 IO。有关更多详细信息，请参阅此

dyf_pagewise_word_count = glueContext.create_dynamic_frame.from_options(
 connection_type="s3",
 format="csv",
 connection_options={
     "paths": ["s3://somefile.csv/"],
     'recurse':True, 
     'groupFiles': 'inPartition', 
     'groupSize': '100000'
 },
 format_options={
     "withHeader": True,
     "separator": ",",
     "optimizePerformance": True, 
 }
)

另外，您能否将 CSV 转换为读取上游的 Parquet 之类的东西？