如何使用 python 从 S3 获取最新的文件夹路径

Question

我有多个 s3 文件路径，其中包含文件夹名称作为日期。 我想根据日期使用 python 和 boto3 从 S3 中提取最新路径。

例如-以下是我的根文件夹下的几个路径（s3:///all/stage/servicenow/service-mgmt/sm_task/raw/）示例路径-

1. s3://my-bucket/all/stage/pqr/xyz/abc/raw/2020/12/11/10/20/file.parquet
2. s3://my-bucket/all/stage/pqr/xyz/abc/raw/2020/12/11/11/12/file.parquet
3. s3://my-bucket/all/stage/pqr/xyz/abc/raw/2020/12/11/12/01/file.parquet
4. s3://my-bucket/all/stage/pqr/xyz/abc/raw/2020/12/12/11/10/file.parquet

以上所有路径均采用 s3:///all/stage/pqr/xyz/abc/raw/YYYY/MM/DD/HH/mm/file.parquet 格式

所以我需要根路径（s3:///all/stage/pqr/xyz/abc/raw/）下的最新时间戳路径，即 s3:///all/stage/pqr/xyz/abc/raw/2020/ 12/12/11/10/file.parquet。

我如何使用 python 和 Boto3 来实现这一点。

任何帮助将不胜感激，因为我是 python 的新手

如果问题不清楚，请发表评论

Answer 1

from os import path

是使用 function 检查文件的一种方法

os.path.splitext(root,date)

并且只需使用您自己的算法来检查天气或您的文件时间是否是最新的