KeyError：尝试将数据从 S3 加载到 Sagemaker 时出现“ETag”

Question

我从 Redshift 将一个 500 MB 的文件卸载到 S3 中，而不是保存到 S3 中的单个文件中，它分成几个块，现在我正尝试从 S3 访问它到 AWS Sagemaker。 在尝试使用 Pd.read_csv 和 dask.dataframe.read_csv 读取文件时，我收到的 Keyerror 为“ETag”

我是 AWS 的新手，请帮助我。

Answer 1

您是否尝试使用其中包含 / 的存储桶名称进行导入？ 顶层桶被读入

my_bucket = s3.Bucket("data-bucket-named")

然后可以读取子文件夹：

subfolders= "subfolder1/subfolder2/subfolder3"
csvs = []
for object_summary in my_bucket.objects.filter(Prefix=subfolders):
    key=object_summary.key
    if key.endswith(".csv"):
    csvs.append(key)
all_data = pd.DataFrame({})
for file in csvs:
    df = pd.read_csv(f's3://{"data-bucket-named"}/{file}')
    add_data = pd.concat([all_df, df])

希望有所帮助。