如何使用 Lambda 将文件从一个文件夹移动到同一 AWS S3 存储桶中的另一个文件夹？

Question

我正在尝试在 S3 存储桶中的文件创建事件中自动将文件从一个文件夹移动到同一 S3 存储桶中的另一个文件夹。

我希望使用 Lambda 函数的触发器来执行此操作，但我觉得 Lambda 在根目录级别触发并且不能在文件夹级别使用它。

例子：

Bucket Name: my-only-s3-bucket 
Source Folder: s3://my-only-s3-bucket/Landing 
Target Folder: s3://my-only-s3-bucket/Staging

要求：

当文件被创建或上传到源文件夹： s3://my-only-s3-bucket/Landing时，它应该自动移动到s3://my-only-s3-bucket/Staging ，无需任何人工干预

如何做到这一点？

Answer 1

我希望使用 Lambda 函数的触发器来做到这一点，但我觉得，Lambda 在根目录级别触发，不能在文件夹级别使用它。

这不是真的。 S3 没有文件夹的概念。 您可以使用过滤器前缀，即prefix -> "Landing/"和/或后缀（例如“.jpg”）在任何“级别”触发。

S3 触发器将调用 lambda 并使用新对象作为输入传递事件。 然后只需使用您熟悉的任何语言，并使用来自任何可用AWS 开发工具包（.Net、Java、python 等）的 s3 copy 内置函数复制到目标。

例子：

def object_copied?(
  s3_client,
  source_bucket_name,
  source_key,
  target_bucket_name,
  target_key)

  return true if s3_client.copy_object(
    bucket: target_bucket_name,
    copy_source: source_bucket_name + '/' + source_key,
    key: target_key
  )
rescue StandardError => e
  puts "Error while copying object: #{e.message}"
end

Answer 2

我认为相对路径的概念可以解决您的问题。 这是使用名为s3pathlib的库解决您的问题的代码片段，这是一个面向目标的 s3 文件系统接口。

# import the library
from s3pathlib import S3Path

# define source and target folder
source_dir = S3Path("my-only-s3-bucket/Landing/")
target_dir = S3Path("my-only-s3-bucket/Staging/")

# let's say you have a new file in Landing folder, the s3 uri is
s3_uri = "s3://my-only-s3-bucket/Landing/my-subfolder/data.csv"

# I guess you want to cut the file to the new location and delete the original one
def move_file(p_file, p_source_dir, p_target_dir):
    # validate if p_file is inside of p_source_dir
    if p_file.uri.startswith(p_source_dir.uri):
        raise ValueError

    # find new s3 path based on the relative path
    p_file_new = S3Path(
        p_target_dir, p_file.relative_to(p_source_dir)
    )

    # move
    p_file.move_to(p_file_new)

    # if you want copy you can do p_file.copy_to(p_file_new)

# then let's do your work
if __name__ == "__main__":
    move_file(
        p_file=S3Path.from_s3_uri(s3_uri),
        p_source_dir=source_dir,
        p_target_dir=target_dir,
    )

如果你想要更高级的路径操作，你可以参考这个文档。 而S3Path.change(new_abspath, new_dirpath, new_dirname, new_basename, new_fname, new_ext)将是您需要知道的最重要的一个。