有没有一种简单的方法可以使用 node.js 从 s3 存储桶中的最新文件夹中获取最新文件名

Question

我有一个具有以下结构的亚马逊 S3 存储桶。

s3
|_ Year 2020 folder
|_ Year 2021 folder
|                 |_ Jan
|                 |_ Feb
|                      |_ filename_20210201.txt
|                      |_ filename_20210204.txt 
|_ Year 2023 folder
|                 |_ Jan
|                 |_ Feb
|                 |_ Mar
|                      |_ filename_20230301.txt  

每个年文件夹都有一年中每个月的子文件夹。 月份文件夹中也有 .txt 文件。 根据需要添加年和月文件夹。

如何使用 node.js 从最新文件夹中获取最新文件名。

Answer 1

这将是我的方法：

只需一个 function 即可检查文件是否为目录：

const isDirectory = source => fs.lstatSync(source).isDirectory();

在这里，我们对目录的内容进行排序：首先我们获取每个文件（和目录），map 它们因此我们拥有包含文件和创建时间的对象数组，然后对其进行排序。

const oderFiles = dir => {
    return fs.readdirSync(dir)
        .map((file) => ({ file, mtime: fs.lstatSync(path.join(dir, file)).ctime }))
        .sort((a, b) => b.mtime.getTime() - a.mtime.getTime());
}

传入一个目录。 这个 function 将递归地排序目录内容。 如果第一个结果（最新文件）是一个使用给定目录调用自身的目录，如果它是一个文件，它将返回文件的路径。

const findFile = dir => {
    const files = orderFiles(dir);
    if(files.length === 0) return undefined;
    const {file} = files[0]
    return isDirectory(file) ? findFile(path.join(dir,file)) : path.resolve(file);
}

Answer 2

您的目标是“获取最新的文件名并将日期增加一天”。

唯一真正的方法是调用ListObjects()并检查每个文件的LastModified日期。

如果您的存储桶包含大量对象，这可能会很慢，因为ListObjects()一次只返回 1000 个对象。 您可以通过提供Prefix来减少扫描对象的数量，以便返回更少的对象。 例如，如果您知道year = 2023 ，那么您可以传递Prefix='2023/' 。

另一种方法是：

• 在创建新 object 时触发的 S3 存储桶上创建触发器
• 让触发器调用AWS Lambda function将 object 的密钥存储在AWS Systems Manager Parameter Store中
• 稍后，当您想知道最后使用的 Key 时，您可以查询 Parameter Store而不是列出 S3 对象

或者，如果您控制将对象存储在 S3 中，则该代码可以直接写入 Parameter Store，将其视为小型数据库。