多個 object 通過在 s3 中僅打開一次 json 從 json 文件中刪除
[英]Multiple object delete from json file by opening json only once in s3
我在 s3 中有幾個 json 文件，現在想通過一次打開文件從 json 文件中刪除一些對象，一次刪除這些對象，並檢查對象是否存在於 json 文件中。 最后想更新 s3 中相同位置的文件。 img_list是要刪除的對象列表。 預計 output：{ "abc": { " ...
編寫 lambda function 將文件上傳到我的 S3 存儲桶
[英]Writing a lambda function to upload files to my S3 bucket
我正在嘗試編寫一個 lambda function 來將文件上傳到我的 S3 存儲桶。 我是編碼新手，所以我不明白為什么這不起作用。 我得到 Body 的“KeyError”。 誰能解釋這意味着什么以及如何修復我的代碼？ 提前致謝。 我嘗試用 Body=event['body'] 或 Body = ...
我從我的網站收到 ERR_NAME_NOT_RESOLVED
[英]I'm getting ERR_NAME_NOT_RESOLVED from my website
我有一個從 NameCheap 獲得的域： www.app.flerr.io 。 我使用 Route53、CloudFront 和 S3 在 AWS 中配置了域。 我將 static 網站上傳到相關的 S3 存儲桶。 當我嘗試訪問我的網站時，出現以下錯誤：ERR_NAME_NOT_RESOLVED ...
運行 S3 Sync 命令的 EC2 實例在數據傳輸完成之前終止
[英]EC2 instance running S3 Sync command terminates before data transfer is complete
我有一個運行 Linux 的 EC2 實例。此實例用於運行aws s3命令。 我想將過去 6 個月的數據從source同步到target S3 存儲桶。 我正在使用具有必要權限的憑據來執行此操作。 最初我只是運行命令： 但是，大約 10 分鍾后，此命令停止運行，並且只有一小部分數據被同步。 我認為這 ...
正確格式化 ACM 的 AWS CLI 命令以使用 S3 存儲鏈接
[英]Properly formatting an AWS CLI command for ACM to use S3 storage links
使用適用於 ACM 的“導入證書”的 AWS CLI 為在 S3 存儲桶中刪除的 LetsEncrypt 證書重新導入更新的證書、鏈和私鑰。 似乎是通常的文件參數語法符號。 我正在使用 [aws-cli/1.18.69 Python/3.8.10 Linux/5.14.0-1056-oem boto ...
ATHENA CREATE TABLE AS 鑲木地板格式問題
[英]ATHENA CREATE TABLE AS problem with parquet format
我在 Athena 中創建一個表並將格式指定為 PARQUET，但是文件擴展名在 S3 中未被識別。 類型顯示為“-”，這意味着文件擴展名無法識別，盡管我可以使用以下方法在 Glue 作業中成功讀取文件（從 Athena 編寫）： df = spark.read.parquet() 這是我的陳述： ...
AWS Lambda function 無法從 S3 連接和查詢 SQLite 數據庫文件
[英]AWS Lambda function can't connect to and query SQLite DB file from S3
我的目標是將 SQLite 數據庫文件上傳到 AWS S3，使用 AWS Lambda & python ( sqlite3 ) 連接到數據庫，查詢它，並返回它的一些數據。 將數據庫文件上傳到 S3 后，我編寫了一個 python 腳本（將成為 Lambda 函數）成功地從 S3 下載數據庫 ...
AWS Amplify Storage.put() 無法讀取未定義的屬性（讀取“byteLength”）
[英]AWS Amplify Storage.put() Cannot read properties of undefined (reading 'byteLength')
我創建了一個放大反應本機應用程序並手動附加了一個 S3 存儲桶，當我調用 function“Storage.put()”時它顯示了這個錯誤。 這是我的代碼。 授權配置 ...
AWS SageMaker Notebook 的默認 S3 存儲桶 - 無法訪問筆記本中上傳的文件
[英]AWS SageMaker Notebook's Default S3 Bucket - Cant Access Uploaded Files within Notebook
在 SageMaker Studio 中，我使用 GUI 創建目錄並將文件上傳到 SageMaker 的默認 S3 存儲桶，並探索如何使用 SageMaker Studio Notebook 處理這些上傳的文件。 在 SageMaker Studio Notebook 中，我跑了 我不明白的是為什么 ...
使用 s3 和膠水時無法以冰山格式保存分區數據
[英]Unable to save partitioned data in in iceberg format when using s3 and glue
出現以下錯誤- 這是我在 spark 3.3 上運行的查詢，帶有膠水目錄並保存到 s3。 冰山版本是1.1.0—— 但是當我嘗試在不分區的情況下保存數據時，它沒有任何問題 - 我該如何解決？ ...
將 Object 轉換為 JSON 文件，然后轉換為字節以保存到存儲，然后返回到 Object
[英]Convert Object to JSON File then to Bytes to save to an Storage and then back to Object
假設我有 class Student，它只有 name 和 age 屬性。 我想將這個 Student 對象轉換為 JSON 文件（我想我可以用 Jackson 映射器做到這一點） 然后我需要將 this.json 文件存儲到存儲中，所以我有方法 save(String key, byte[] r ...
AWS S3 使用 boto3 將文件從一個存儲桶復制到另一個存儲桶
[英]AWS S3 copy files from one bucket to other using boto3
我打算使用 AWS Python SDK (Boto3) 將文件從一個存儲桶復制到另一個存儲桶。 下面是我從 AWS 文檔中獲得的相同代碼： 我的問題是如何觸發此代碼以及我應該在哪里部署此代碼？ 我最初想到的是 Lambda function，但我正在尋找替代選項，以防 Lambda 因較大文件（1 ...
防止刪除 S3 服務器訪問日志
[英]Protection against deletion of S3 server access logs
出於審計目的，需要存儲桶（例如 A）的服務器訪問日志。 這些日志存儲在另一個存儲桶中，比如 B。我們如何確保存儲桶 B 中的日志沒有被篡改或刪除。將這些日志發送到 Cloudwatch 以獲得更好的保留會更容易，但我不確定如果 S3 服務器訪問日志是可能的。 ...
S3 訪問被拒絕 - 存儲桶所有者無法下載 CloudFront 擁有的對象
[英]S3 Access Denied - Bucket owner can't download objects owned by CloudFront
我有一個擁有 S3 存儲桶的 IAM 用戶。 另外，我一直在使用 CloudFront 將一些文件上傳到 S3。 我只是相信 Bucket Owner IAM 用戶無法下載 CloudFront 創建的對象 - 它說訪問被拒絕。 一些潛在的解決方案可能是： 有沒有辦法強制存儲桶所有者能夠下載所有文件 ...
.NET Api Lambda 代理集成 Api 網關 S3 文件下載損壞
[英].NET Api Lambda Proxy Integration Api Gateway S3 File Download Corruption
將文件上傳到 S3（在這種特殊情況下為 .xlsx）后，下載的文件已損壞，其大小大於上傳的文件，生成的 .xlsx 已損壞且無法打開。 查看相同的問題（但對於不同的文件類型），這里提到了一個解決方案https://stackoverflow.com/a/54448752/21119546但在我的情況 ...
如何等到 URL 在 Java 就緒？
[英]How to wait until URL is ready in Java?
我創建了從帶有圖像的 URL 中讀取字節並將其寫入 S3 bukcet 的方法。 存儲庫： 我使用此方法的主要問題是 URL 准備就緒的時間，當我運行該應用程序時，它總是拋出 RuntimeException，因為 URL 尚未准備好讀取。 在我查看 URL 響應時間的一些測試之后，我添加了 Th ...
py4j.Py4JException：方法集（[class java.lang.String，class java.util.ArrayList]）在Databricks中不存在
[英]py4j.Py4JException: Method set([class java.lang.String, class java.util.ArrayList]) does not exist in Databricks
我正在嘗試使用 Databricks 訪問遠程 S3 存儲桶。 據我了解，這就是我的代碼應該是什么樣子， 嘗試設置 Spark 配置時，我似乎遇到了以下錯誤， 我究竟做錯了什么？ ...
aws s3批量操作錯誤：無法解碼任務目標URL
[英]Aws s3 batch operation error: Task target couldn't be URL decoded
我需要從 aws s3 冰川深層存檔中恢復大量 object。 所以我嘗試使用 s3 批處理作業。 為此，我使用 python 代碼將清單創建為 csv，其中包含 Bucket、Key 列。 但我的第一個問題：一些 Key 包含逗號，所以工作失敗了。 為了（部分）解決這個問題，我只是剪切了 csv ...
AWS Codecommit CICD 到 EC2
[英]AWS Codecommit CICD to EC2
我正在使用 AWS CodeCommit 管理我的存儲庫，並且有一個部署代碼的 EC2 實例。 嘗試設置 CodePipeline - 跳過構建階段，它似乎工作正常，但需要 10-12 分鍾才能完成。 我看到大部分時間都花在源代碼階段，我相信它會壓縮代碼、上傳到 S3，然后從 S3 部署下載（這是 ...
AWS s3中上傳的同名對象會被覆蓋嗎
[英]Will objects with the same name uploaded in AWS s3 be overwritten
我正在使用他們的 API 和 putObject 將圖像/視頻上傳到 S3。 當我使用 com.amazonaws.services.s3.transfer 上傳兩次相同的 PutObjectRequest 時，object 會被最新的覆蓋嗎？ 或者 aws 會用不同的 versionID 保存 o ...