使用boto3将文件上传到S3存储桶中的特定文件夹

Question

我的代码正在工作。 我面临的唯一问题是，我无法在S3存储桶中指定要将文件放入其中的文件夹。这是我所拥有的：

with open("/hadoop/prodtest/tips/ut/s3/test_audit_log.txt", "rb") as f:
    s3.upload_fileobj(f, "us-east-1-tip-s3-stage", "BlueConnect/test_audit_log.txt")

Answer 1

S3中的文件（“对象”）实际上是由它们的“键”（〜文件夹+文件名）存储在存储桶中的平面结构中的。 如果在键中放置斜杠（ / ），则S3会向用户表示此斜杠，就好像它是文件夹结构的标记，但是这些文件夹实际上在S3中并不存在，它们只是为用户提供了便利，并且允许大多数文件系统都熟悉的通常的文件夹导航。

所以，你的代码表示，虽然看起来你是把一个名为test_audit_log.txt一个文件夹，名为在BlueConnect ，你实际上只是配售对象，代表你的文件，在us-east-1-tip-s3-stage具有BlueConnect/test_audit_log.txt密钥的BlueConnect/test_audit_log.txt 。 为了然后（似乎）将其放置在新文件夹中，只需将密钥设置为文件的完整路径即可，例如：

# upload_fileobj(file, bucket, key)
s3.upload_fileobj(f, "us-east-1-tip-s3-stage", "folder1/folder2/test_audit_log.txt")

在此示例中，对象的“键”为folder1/folder2/test_audit_log.txt ，您可以将其视为文件 test_audit_log.txt ，位于文件夹folder2内的文件夹folder1中-这就是它在S3上的显示方式，通常是与本地计算机的文件夹结构不同的文件夹结构。

Answer 2

@danimal的解释几乎捕获了所有内容。 如果只想在s3中创建类似文件夹的对象，则只需指定该文件夹名称并以“ /”结尾，这样，当您从控制台查看它时，它将看起来像一个文件夹。

它是一个没有用的空对象，没有一个主体（将其视为具有空值的键），只是为了吸引人，但是如果您真的想这样做，可以这样做。 1）您可以在控制台上以交互方式创建它，因为它为您提供了选项2_。您可以使用aws sdk。 boto3具有s3客户端的put_object方法，您在其中将密钥指定为“ your_folder_name /”，请参见以下示例：

import boto3
session = boto3.Session() # I assume you know how to provide credentials etc.
s3 = session.client('s3', 'us-east-1')

bucket = s3.create_bucket('my-test-bucket')
response = s3.put_object(Bucket='my-test-bucket', Key='my_pretty_folder/' # note the ending "/"

那里有你的水桶。

同样，当您上传文件时，请指定“ my-test-bucket / my_file”，然后创建一个名为“ my-test-bucket / my_file”的“ key ”，并将文件内容作为“ 值 ”。

在这种情况下，存储桶中有2个对象。 第一个对象的主体为空，看起来像一个文件夹，而第二个对象看起来像在里面，但正如@danimal指出的那样，实际上您是在同一平面层次结构中创建了2个键，它只是“看起来像”我们使用的东西在文件系统中查看。

如果删除文件，则仍有其他对象，因此在aws控制台上，文件夹似乎仍然存在，但内部没有文件。

如果您跳过创建文件夹的操作，而只是像上次那样仅上传文件，则仍会在AWS Console中看到文件夹结构，但此时只有一个对象。

但是，当您从命令行列出对象时，您会看到一个对象，如果在控制台上将其删除，则文件夹似乎也消失了。