堆栈内存溢出
cost 70 ms
多个 object 通过在 s3 中仅打开一次 json 从 json 文件中删除

[英]Multiple object delete from json file by opening json only once in s3

我在 s3 中有几个 json 文件，现在想通过一次打开文件从 json 文件中删除一些对象，一次删除这些对象，并检查对象是否存在于 json 文件中。 最后想更新 s3 中相同位置的文件。 img_list是要删除的对象列表。 预计 output：{ "abc": { " ...

编写 lambda function 将文件上传到我的 S3 存储桶

[英]Writing a lambda function to upload files to my S3 bucket

我正在尝试编写一个 lambda function 来将文件上传到我的 S3 存储桶。 我是编码新手，所以我不明白为什么这不起作用。 我得到 Body 的“KeyError”。 谁能解释这意味着什么以及如何修复我的代码？ 提前致谢。 我尝试用 Body=event['body'] 或 Body = ...

运行 S3 Sync 命令的 EC2 实例在数据传输完成之前终止

[英]EC2 instance running S3 Sync command terminates before data transfer is complete

我有一个运行 Linux 的 EC2 实例。此实例用于运行aws s3命令。 我想将过去 6 个月的数据从source同步到target S3 存储桶。 我正在使用具有必要权限的凭据来执行此操作。 最初我只是运行命令： 但是，大约 10 分钟后，此命令停止运行，并且只有一小部分数据被同步。 我认为这 ...

正确格式化 ACM 的 AWS CLI 命令以使用 S3 存储链接

[英]Properly formatting an AWS CLI command for ACM to use S3 storage links

使用适用于 ACM 的“导入证书”的 AWS CLI 为在 S3 存储桶中删除的 LetsEncrypt 证书重新导入更新的证书、链和私钥。 似乎是通常的文件参数语法符号。 我正在使用 [aws-cli/1.18.69 Python/3.8.10 Linux/5.14.0-1056-oem boto ...

ATHENA CREATE TABLE AS 镶木地板格式问题

[英]ATHENA CREATE TABLE AS problem with parquet format

我在 Athena 中创建一个表并将格式指定为 PARQUET，但是文件扩展名在 S3 中未被识别。 类型显示为“-”，这意味着文件扩展名无法识别，尽管我可以使用以下方法在 Glue 作业中成功读取文件（从 Athena 编写）： df = spark.read.parquet() 这是我的陈述： ...

AWS Lambda function 无法从 S3 连接和查询 SQLite 数据库文件

[英]AWS Lambda function can't connect to and query SQLite DB file from S3

我的目标是将 SQLite 数据库文件上传到 AWS S3，使用 AWS Lambda & python ( sqlite3 ) 连接到数据库，查询它，并返回它的一些数据。 将数据库文件上传到 S3 后，我编写了一个 python 脚本（将成为 Lambda 函数）成功地从 S3 下载数据库 ...

AWS SageMaker Notebook 的默认 S3 存储桶 - 无法访问笔记本中上传的文件

[英]AWS SageMaker Notebook's Default S3 Bucket - Cant Access Uploaded Files within Notebook

在 SageMaker Studio 中，我使用 GUI 创建目录并将文件上传到 SageMaker 的默认 S3 存储桶，并探索如何使用 SageMaker Studio Notebook 处理这些上传的文件。 在 SageMaker Studio Notebook 中，我跑了 我不明白的是为什么 ...

将 Object 转换为 JSON 文件，然后转换为字节以保存到存储，然后返回到 Object

[英]Convert Object to JSON File then to Bytes to save to an Storage and then back to Object

假设我有 class Student，它只有 name 和 age 属性。 我想将这个 Student 对象转换为 JSON 文件（我想我可以用 Jackson 映射器做到这一点） 然后我需要将 this.json 文件存储到存储中，所以我有方法 save(String key, byte[] r ...

AWS S3 使用 boto3 将文件从一个存储桶复制到另一个存储桶

[英]AWS S3 copy files from one bucket to other using boto3

我打算使用 AWS Python SDK (Boto3) 将文件从一个存储桶复制到另一个存储桶。 下面是我从 AWS 文档中获得的相同代码： 我的问题是如何触发此代码以及我应该在哪里部署此代码？ 我最初想到的是 Lambda function，但我正在寻找替代选项，以防 Lambda 因较大文件（1 ...

防止删除 S3 服务器访问日志

[英]Protection against deletion of S3 server access logs

出于审计目的，需要存储桶（例如 A）的服务器访问日志。 这些日志存储在另一个存储桶中，比如 B。我们如何确保存储桶 B 中的日志没有被篡改或删除。将这些日志发送到 Cloudwatch 以获得更好的保留会更容易，但我不确定如果 S3 服务器访问日志是可能的。 ...

S3 访问被拒绝 - 存储桶所有者无法下载 CloudFront 拥有的对象

[英]S3 Access Denied - Bucket owner can't download objects owned by CloudFront

我有一个拥有 S3 存储桶的 IAM 用户。 另外，我一直在使用 CloudFront 将一些文件上传到 S3。 我只是相信 Bucket Owner IAM 用户无法下载 CloudFront 创建的对象 - 它说访问被拒绝。 一些潜在的解决方案可能是： 有没有办法强制存储桶所有者能够下载所有文件 ...

.NET Api Lambda 代理集成 Api 网关 S3 文件下载损坏

[英].NET Api Lambda Proxy Integration Api Gateway S3 File Download Corruption

将文件上传到 S3（在这种特殊情况下为 .xlsx）后，下载的文件已损坏，其大小大于上传的文件，生成的 .xlsx 已损坏且无法打开。 查看相同的问题（但对于不同的文件类型），这里提到了一个解决方案https://stackoverflow.com/a/54448752/21119546但在我的情况 ...

如何等到 URL 在 Java 就绪？

[英]How to wait until URL is ready in Java?

我创建了从带有图像的 URL 中读取字节并将其写入 S3 bukcet 的方法。 存储库： 我使用此方法的主要问题是 URL 准备就绪的时间，当我运行该应用程序时，它总是抛出 RuntimeException，因为 URL 尚未准备好读取。 在我查看 URL 响应时间的一些测试之后，我添加了 Th ...

py4j.Py4JException：方法集（[class java.lang.String，class java.util.ArrayList]）在Databricks中不存在

[英]py4j.Py4JException: Method set([class java.lang.String, class java.util.ArrayList]) does not exist in Databricks

我正在尝试使用 Databricks 访问远程 S3 存储桶。 据我了解，这就是我的代码应该是什么样子， 尝试设置 Spark 配置时，我似乎遇到了以下错误， 我究竟做错了什么？ ...

aws s3批量操作错误：无法解码任务目标URL

[英]Aws s3 batch operation error: Task target couldn't be URL decoded

我需要从 aws s3 冰川深层存档中恢复大量 object。 所以我尝试使用 s3 批处理作业。 为此，我使用 python 代码将清单创建为 csv，其中包含 Bucket、Key 列。 但我的第一个问题：一些 Key 包含逗号，所以工作失败了。 为了（部分）解决这个问题，我只是剪切了 csv ...

AWS Codecommit CICD 到 EC2

[英]AWS Codecommit CICD to EC2

我正在使用 AWS CodeCommit 管理我的存储库，并且有一个部署代码的 EC2 实例。 尝试设置 CodePipeline - 跳过构建阶段，它似乎工作正常，但需要 10-12 分钟才能完成。 我看到大部分时间都花在源代码阶段，我相信它会压缩代码、上传到 S3，然后从 S3 部署下载（这是 ...

AWS s3中上传的同名对象会被覆盖吗

[英]Will objects with the same name uploaded in AWS s3 be overwritten

我正在使用他们的 API 和 putObject 将图像/视频上传到 S3。 当我使用 com.amazonaws.services.s3.transfer 上传两次相同的 PutObjectRequest 时，object 会被最新的覆盖吗？ 或者 aws 会用不同的 versionID 保存 o ...

2023-01-31 06:39:37   1   21    amazon-s3  

排序:
质量:
 
粤ICP备18138465号  © 2020-2023 STACKOOM.COM