如何将存储桶中的图像数据加载到 AWS sagemaker notebook？

Question

图像作为文件夹存在 - 在我的 s3 存储桶中训练和测试。 我想在我的 sagemaker 笔记本中使用它们。 例如，就像在我的本地服务器上一样，我使用 test_dir = "C:\\Users\\catvdog\\dataset\\test"。

Answer 1

目录的一个例子是：

's3://sagemaker-eu-central-1-123456789/test/sagemaker/sklearncontainer/test'

更一般地说，您为文件创建路径

data_file = 'filename.csv'
datafolder = 'xxx/yyy'
data_location = 's3://{}/{}/{}'.format(bucket, datafolder, data_file)

Answer 2

我认为您正在寻找的是s3fs模块。 例如：

import s3fs

fs = s3fs.S3FileSystem()

directory = 'bucket_name/data'
filenames = fs.ls(directory)
for filename in filenames:
    with fs.open(filename, 'rb') as f:
        # do something with file

有关更多信息，请参阅s3fs 文档