簡體   English   中英

用於清理 Athena OutputLocation 的 AWS S3 生命周期規則

[英]AWS S3 Lifecycle Rule to cleanup Athena OutputLocation

我正在嘗試設置一個生命周期規則來清理我臃腫的 athena OutputLocation 文件夾,我需要一些說明

  • 當前設置的生命周期規則片段如下

  • 此規則是否僅適用於我存儲桶中的文件夾 athena-results/?

  • 規則操作對我來說有點不清楚,實際上 select 是什么? 我想刪除此位置中超過 1 天的任何和所有現有文件 - 幾年前的文件以及以后每天的文件。 我當前的選擇是否正確? 使當前版本的對象過期,我假設這個對象會處理所有歷史文件? 或者我是否還需要 select 第 5 個選項,刪除過期刪除標記或不完整的分段上傳?

  • 有關更多上下文以及此 OutputLocation 文件夾的用途:

    $query = $client->startQueryExecution([ "QueryString" => $sql, "ResultConfiguration" => [ "OutputLocation" => "s3://s3location/athena-results" ] ]);

    $obj = $s3->getObject([ 'Bucket' => 'analytics', 'Key' => 'athena-results/'.$queryId.'.csv' ]);

當前規則

當前規則

當前規則

其中一些選項(例如刪除標記)僅在存儲桶激活了版本控制時才適用。

Amazon Athena 不執行分段上傳或任何存儲 class 轉換,因此不需要這些選項。

您的選擇看起來不錯——試一試。 對象開始消失可能需要 24-48 小時。

讓我們知道您的情況如何!

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM