在 output 文件 AWS Python 胶水作业中添加.csv 扩展

Question

我正在尝试从 python 胶水动态框架中保存 csv 文件。 下面是我的代码 -

glueContext.write_dynamic_frame.from_options(
frame=splender_df,
connection_type="s3",
connection_options={"path": 's3://splender_df/'},
format="csv",

但它正在创建 20 个文件，并且没有一个文件具有 csv 扩展名（.csv）。 我怎样才能在文件名中只有一个扩展名为.csv 的文件。

Answer 1

您是否指定了额外的选项，例如分隔符和 quote_char？ 像下面的例子：

glueContext.write_dynamic_frame.from_options(
frame = datasource1,
connection_type = "s3", 
connection_options = {
    "path": "s3://s3path"
    }, 
format = "csv", 
format_options={
    "quoteChar": -1, 
    "separator": "|"
    }, 
transformation_ctx = "datasink2")

您可以在此链接中找到这些选项。