繁体   English   中英

使用 python 处理 S3 中的文件,列表中的最后一个文件在处理时抛出 FileNotFound 和 Access Denied

Processing files in S3 with python, and last file in list throws FileNotFound and Access Denied when handling it

提示:本站收集StackOverFlow近2千万问答,支持中英文搜索,鼠标放在语句上弹窗显示对应的参考中文或英文, 本站还提供   中文繁体   英文版本   中英对照 版本,有任何建议请联系yoyou2525@163.com。

我从我们拥有的应用程序运行导出,它按月将 CSV 文件转储到 S3。 相同的过程同时删除所有文件,文件删除没有什么不同。 我的 IAM 用户拥有完全的 S3 访问权限。 在处理上述异常期间,我收到FileNotFoundError: /mybucket/funnel-ad/raw/data/funnel_data_2020_04和 Access Denied。 该文件确实存在,并且我已经在 s3 中手动检查过,另外我通过从 s3 中提取来生成文件列表。 这是我的代码

session = Session(aws_access_key_id=AK,
                  aws_secret_access_key=SAK)
s3 = session.resource('s3')
bucket = s3.Bucket('mybucket')

for file in bucket.objects.filter(Prefix='funnel-ad/raw/data'):
    if 'funnel_data' in file.key:
        readpath = 's3://mybucket/'+str(file.key)
        df = pd.read_csv(readpath,engine='python', error_bad_lines=False)
        df = df.reindex(sorted(df.columns), axis=1)
        dct = df.to_dict(orient = 'records')
问题暂未有回复.您可以查看右边的相关问题.
1 每周处理S3中的所有文件

每周处理S3中所有文件的最佳方法是什么? 我的存储桶包含许多json文件以及我需要的文件:在所有文件上运行(一周一次),然后解析这些文件的数据以进行统计报告。 例如,按ID分组并按某些字段进行计数。 结果保存到一个文件中,我将其发送给用户。 例: INPUT: fir ...

4 使用python和boto根据时间戳在S3中处理文件

我正在尝试根据这些文件具有的时间戳来处理S3的文件。 我有这段代码,它为我提供了文件的date modified属性,然后我使用boto.utils.parse_ts对其进行解析,以将其转换为适当的格式。 现在,我想对文件进行排序,并在可能的情况下按排序顺序将其键名放在list中,以便最早的 ...

6 使用python和boto在s3中创建一个文件

我有下面的链接,当我尝试访问它时,它出现一个xml文件说“Acess denied”。 我需要去aws管理控制台并将这part-0000文件公开,以便我可以访问它。 你知道我如何使用boto与python授予权限,这样我就可以访问这个链接而无需转到aws managmet控制台并使文 ...

7 使用Spark在S3上处理单个文件

我在S3上有一个文件,希望通过多个节点使用Spark处理。 spark如何在后台实现该功能? 每个工作节点是否都从S3中读取一部分数据(使用字节范围请求)? 我试图了解在并行处理方面在HDFS和S3上使用Spark之间的区别。 使用EMR时有关系吗? ...

9 Spark处理S3中的许多tar.gz文件

我在s3中有许多格式为log-.tar.gz的文件。 我想对其进行处理,对其进行处理(从每一行中提取一个字段)并将其存储在新文件中。 我们有很多方法可以做到这一点。 一种简单方便的方法是使用textFile方法访问文件。 我担心群集的内存限制。 这样,主节点将过载。 是否可 ...

10 在API中处理S3存储桶文件端点

现在,我使用/ temp路径,其中所有客户端上传的文件都是从签名的url上载到的。 这项政策会在一段时间后予以清理。 然后,当用户从表单更新/创建时,会将其移动到未自行清理的正确路径。 并添加到由存储桶和键组成的数据库文件表中,并作为与数据的关系添加。 现在我的问题是,对于整个系统,我一直跟踪数 ...

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2021 STACKOOM.COM