AWS Glue：獲取由 create_dynamic_frame.from_options 讀取的對象列表

Question

我正在使用create_dynamic_frame.from_options將 CSV 文件讀入 Glue Dynamic Dataframe。 我的 Glue 工作正在使用書簽，並且from_options配置了轉換 ctx 和遞歸搜索。

dyf = glueContext.create_dynamic_frame.from_options("s3", 
    {
        "paths": [
            "s3://bucket/files/"
        ],
        "recurse" : True
    },
    transformation_ctx = "example"
)

s3://bucket/files包含多個 CSV。 有沒有辦法獲取實際讀取了哪些對象的列表？ 當我使用書簽時，已經處理過的文件將被“忽略”。 這些被忽略的文件應該從讀取對象列表中省略。

Answer 1

你可以試試這個： dyf.toDF().withColumn("input_file", input_file_name()).select("input_file").distinct().show()