Databricks Autoloader能否跟踪文件上传时间

Question

是否可以使用 Databricks 自动加载器跟踪 S3 文件上传时间？ 看起来 Autoloader 会为文件名和处理时间添加列，但在我们的用户案例中，我们需要知道文件上传到 S3 的顺序。

Answer 1

加载数据时，您可以查询_metadata列（或其中的特定属性） - 它包括file_modification_time字段，表示上次文件修改时间（应与上传时间匹配）。

做就是了：

df.select("*", "_metadata.file_modification_time")

访问该字段。 有关详细信息，请参阅文档。