cost 14 ms
递归地将 s3 对象从一个 s3 前缀复制到 airflow 中的另一个

我正在尝试使用以下格式将每小时收到的文件复制到传入的存储桶中 我想通过针对特定源系统的单个 airflow 任务将对象复制到目标文件夹中。 我试过了 - 上面的问题是,我无法对输入 source_bucket 使用wildcards 。 它需要是 s3 object 的特定完整前缀。 我还尝试使用S ...

2022-09-27 15:17:47 0 5
SageMaker Endpoint:调用 InvokeEndpoint 操作时出现 ServiceUnavailable 503

我已经部署了一个 model 作为 SageMaker 端点,它工作了一段时间但现在通过 boto3 调用 model 我收到以下错误 在SageMaker 文档中研究此错误,它指出以下内容由于服务器临时故障,请求失败。 我还检查了 CW 中的 Instance Metrics,没有什么异常。 我 ...

2022-09-26 23:00:19 0 5
Boto3 S3 list_objects_v2 不返回任何对象

我正在使用 Boto3 尝试通过 AWS Lambda Python 脚本从 S3 存储桶获取密钥列表。 无论我尝试什么,存储桶都不会返回任何对象。 import json, boto3, os def getConfig(): cfg = { "aws_key_id ...

2022-09-26 22:02:58 1 16
AWS Lambda Python Boto3 - 项目计数 dynamodb 表

我正在尝试计算 Dynamobd 表中的项目总数。 Boto3 文档说 item_count 属性。 (integer) -- 指定表中的项目数。 DynamoDB 大约每六个小时更新一次此值。 最近的更改可能不会反映在此值中。 我在该表中填充了大约 100 条记录。 output 显示 0 ...

2022-09-26 20:03:10 1 8
boto3 查询 AWS Parameter Store 值并运行 AWS Glue

我想在 AWS Lambda 中编写一个 Python 查询,以获取有关 AWS SSM 参数存储的详细信息(详细信息在我的 cloudformation 代码中引用了 AWS 胶水作业)我已经写了 Z23EEEB4347BDD26BFC6BFC6B37EE9A3B755DDZ,但现在需要添加 A ...

2022-09-26 08:01:53 0 11
Cloudfront UpdateDistribution 操作因 ServiceUnavailable 而失败

我正在尝试使用 Boto3 将 Origin 和 Behaviors 添加到现有的 CloudFront 分配,但它失败并出现以下错误,还添加了重试。 我尝试使用独立脚本和 CloudFormation 自定义资源,但都失败了。 之前在这里报告的相同问题: https://github.com/aw ...

2022-09-26 05:26:20 0 6
Boto3 和多处理

我想并行实现一些代码(使用 64 个工作人员)。 特别是,我想从 S3 存储桶中读取对象,进行一些处理并写入它们。 就像是: 问题是,文件夹中有超过 64 个对象(我不知道有多少)。 我怎样才能遍历所有对象但仍然利用 64 个工人? ...

2022-09-25 16:35:33 1 20
DynamoDB 使用 python boto3 过滤数据

我尝试使用以下查询扫描数据: 但它不起作用。 我正在从 aws 控制台删除数据正在过滤 这是我抛出异常的示例代码: ...

2022-09-25 06:31:49 1 19
调用 CreateRole 操作时发生错误(MalformedPolicyDocument):已禁止字段资源

我正在尝试使用 boto3 在另一个帐户中创建角色,我在网上找到了一个实施策略文档的示例,这样做给了我错误“调用 CreateRole 操作时发生错误(MalformedPolicyDocument):禁止字段资源” 这是我的代码和我试图用来创建角色的策略文档 什么可能导致我的假定角色策略错误? ...

2022-09-23 17:31:29 0 25
S3 桶到桶复制性能

我正在尝试将一些文件从一个存储桶复制到另一个(同一区域),速度约为 315mb/s。 但是我在 lambda 中使用它,并且有 15 分钟的超时限制。 所以对于更大的文件进入超时下面是我正在使用的代码片段(在 python 中),还有其他方法可以加快速度吗? 欢迎任何意见。 我看到很多关于传递块大小 ...

2022-09-23 01:28:02 1 16
S3 Static 站点下载索引.html 上传文件后

我有一个名为 tidbitstatistics.com 的 s3 站点 static 我使用 boto3 编写了一个脚本来用新文件替换文件,从那时起,我的网站没有打开 - 而是下载了 index.html 文件。 据我所知,我没有更改任何设置。 在我重新上传文件之前,该网站运行良好。 从那时起,我删 ...

2022-09-22 17:42:49 0 16
FastApi python aws s3 无法从 url 查看图像

我的图片正在上传 aws s3 存储桶,但无法查看来自 url 的任何图片。 通过我通过ExtraArgs={"ACL":"public-read"}但不明白为什么它不公开。 这是我的代码: 看截图。 当我试图从 url 查看图像时,我得到了这个: ...

2022-09-22 12:42:04 0 17
如何压缩图像然后使用 FastAPI 将其上传到 AWS S3 存储桶?

这是我将图像上传到 AWS S3 的代码: 有什么方法可以压缩图像大小并使用boto3将图像上传到特定文件夹? 我有这个 function 用于压缩图像,但我不知道如何将它集成到 boto3 中。 更新#1 遵循克里斯的建议后,我的问题得到了解决: 这是克里斯的解决方案: ...

2022-09-22 10:22:32 2 40

 
粤ICP备18138465号  © 2020-2022 STACKOOM.COM