
[英]Multiple object delete from json file by opening json only once in s3
我在 s3 中有几个 json 文件,现在想通过一次打开文件从 json 文件中删除一些对象,一次删除这些对象,并检查对象是否存在于 json 文件中。 最后想更新 s3 中相同位置的文件。 img_list是要删除的对象列表。 预计 output:{ "abc": { " ...
[英]Multiple object delete from json file by opening json only once in s3
我在 s3 中有几个 json 文件,现在想通过一次打开文件从 json 文件中删除一些对象,一次删除这些对象,并检查对象是否存在于 json 文件中。 最后想更新 s3 中相同位置的文件。 img_list是要删除的对象列表。 预计 output:{ "abc": { " ...
[英]Writing a lambda function to upload files to my S3 bucket
我正在尝试编写一个 lambda function 来将文件上传到我的 S3 存储桶。 我是编码新手,所以我不明白为什么这不起作用。 我得到 Body 的“KeyError”。 谁能解释这意味着什么以及如何修复我的代码? 提前致谢。 我尝试用 Body=event['body'] 或 Body = ...
[英]I'm getting ERR_NAME_NOT_RESOLVED from my website
我有一个从 NameCheap 获得的域: www.app.flerr.io 。 我使用 Route53、CloudFront 和 S3 在 AWS 中配置了域。 我将 static 网站上传到相关的 S3 存储桶。 当我尝试访问我的网站时,出现以下错误:ERR_NAME_NOT_RESOLVED ...
[英]EC2 instance running S3 Sync command terminates before data transfer is complete
我有一个运行 Linux 的 EC2 实例。此实例用于运行aws s3命令。 我想将过去 6 个月的数据从source同步到target S3 存储桶。 我正在使用具有必要权限的凭据来执行此操作。 最初我只是运行命令: 但是,大约 10 分钟后,此命令停止运行,并且只有一小部分数据被同步。 我认为这 ...
[英]Properly formatting an AWS CLI command for ACM to use S3 storage links
使用适用于 ACM 的“导入证书”的 AWS CLI 为在 S3 存储桶中删除的 LetsEncrypt 证书重新导入更新的证书、链和私钥。 似乎是通常的文件参数语法符号。 我正在使用 [aws-cli/1.18.69 Python/3.8.10 Linux/5.14.0-1056-oem boto ...
[英]ATHENA CREATE TABLE AS problem with parquet format
我在 Athena 中创建一个表并将格式指定为 PARQUET,但是文件扩展名在 S3 中未被识别。 类型显示为“-”,这意味着文件扩展名无法识别,尽管我可以使用以下方法在 Glue 作业中成功读取文件(从 Athena 编写): df = spark.read.parquet() 这是我的陈述: ...
[英]AWS Lambda function can't connect to and query SQLite DB file from S3
我的目标是将 SQLite 数据库文件上传到 AWS S3,使用 AWS Lambda & python ( sqlite3 ) 连接到数据库,查询它,并返回它的一些数据。 将数据库文件上传到 S3 后,我编写了一个 python 脚本(将成为 Lambda 函数)成功地从 S3 下载数据库 ...
[英]AWS Amplify Storage.put() Cannot read properties of undefined (reading 'byteLength')
我创建了一个放大反应本机应用程序并手动附加了一个 S3 存储桶,当我调用 function“Storage.put()”时它显示了这个错误。 这是我的代码。 授权配置 ...
[英]AWS SageMaker Notebook's Default S3 Bucket - Cant Access Uploaded Files within Notebook
在 SageMaker Studio 中,我使用 GUI 创建目录并将文件上传到 SageMaker 的默认 S3 存储桶,并探索如何使用 SageMaker Studio Notebook 处理这些上传的文件。 在 SageMaker Studio Notebook 中,我跑了 我不明白的是为什么 ...
[英]Unable to save partitioned data in in iceberg format when using s3 and glue
出现以下错误- 这是我在 spark 3.3 上运行的查询,带有胶水目录并保存到 s3。 冰山版本是1.1.0—— 但是当我尝试在不分区的情况下保存数据时,它没有任何问题 - 我该如何解决? ...
[英]Convert Object to JSON File then to Bytes to save to an Storage and then back to Object
假设我有 class Student,它只有 name 和 age 属性。 我想将这个 Student 对象转换为 JSON 文件(我想我可以用 Jackson 映射器做到这一点) 然后我需要将 this.json 文件存储到存储中,所以我有方法 save(String key, byte[] r ...
[英]AWS S3 copy files from one bucket to other using boto3
我打算使用 AWS Python SDK (Boto3) 将文件从一个存储桶复制到另一个存储桶。 下面是我从 AWS 文档中获得的相同代码: 我的问题是如何触发此代码以及我应该在哪里部署此代码? 我最初想到的是 Lambda function,但我正在寻找替代选项,以防 Lambda 因较大文件(1 ...
[英]Protection against deletion of S3 server access logs
出于审计目的,需要存储桶(例如 A)的服务器访问日志。 这些日志存储在另一个存储桶中,比如 B。我们如何确保存储桶 B 中的日志没有被篡改或删除。将这些日志发送到 Cloudwatch 以获得更好的保留会更容易,但我不确定如果 S3 服务器访问日志是可能的。 ...
[英]S3 Access Denied - Bucket owner can't download objects owned by CloudFront
我有一个拥有 S3 存储桶的 IAM 用户。 另外,我一直在使用 CloudFront 将一些文件上传到 S3。 我只是相信 Bucket Owner IAM 用户无法下载 CloudFront 创建的对象 - 它说访问被拒绝。 一些潜在的解决方案可能是: 有没有办法强制存储桶所有者能够下载所有文件 ...
[英].NET Api Lambda Proxy Integration Api Gateway S3 File Download Corruption
将文件上传到 S3(在这种特殊情况下为 .xlsx)后,下载的文件已损坏,其大小大于上传的文件,生成的 .xlsx 已损坏且无法打开。 查看相同的问题(但对于不同的文件类型),这里提到了一个解决方案https://stackoverflow.com/a/54448752/21119546但在我的情况 ...
[英]How to wait until URL is ready in Java?
我创建了从带有图像的 URL 中读取字节并将其写入 S3 bukcet 的方法。 存储库: 我使用此方法的主要问题是 URL 准备就绪的时间,当我运行该应用程序时,它总是抛出 RuntimeException,因为 URL 尚未准备好读取。 在我查看 URL 响应时间的一些测试之后,我添加了 Th ...
[英]py4j.Py4JException: Method set([class java.lang.String, class java.util.ArrayList]) does not exist in Databricks
我正在尝试使用 Databricks 访问远程 S3 存储桶。 据我了解,这就是我的代码应该是什么样子, 尝试设置 Spark 配置时,我似乎遇到了以下错误, 我究竟做错了什么? ...
[英]Aws s3 batch operation error: Task target couldn't be URL decoded
我需要从 aws s3 冰川深层存档中恢复大量 object。 所以我尝试使用 s3 批处理作业。 为此,我使用 python 代码将清单创建为 csv,其中包含 Bucket、Key 列。 但我的第一个问题:一些 Key 包含逗号,所以工作失败了。 为了(部分)解决这个问题,我只是剪切了 csv ...
[英]AWS Codecommit CICD to EC2
我正在使用 AWS CodeCommit 管理我的存储库,并且有一个部署代码的 EC2 实例。 尝试设置 CodePipeline - 跳过构建阶段,它似乎工作正常,但需要 10-12 分钟才能完成。 我看到大部分时间都花在源代码阶段,我相信它会压缩代码、上传到 S3,然后从 S3 部署下载(这是 ...
[英]Will objects with the same name uploaded in AWS s3 be overwritten
我正在使用他们的 API 和 putObject 将图像/视频上传到 S3。 当我使用 com.amazonaws.services.s3.transfer 上传两次相同的 PutObjectRequest 时,object 会被最新的覆盖吗? 或者 aws 会用不同的 versionID 保存 o ...