在哪里可以找到 Athena 的機器可讀查詢日志？

Question

我面臨的問題是，我的 AWS 成本報告顯示 Athena 查詢使用的數據比我預期的要多。 在 AWS 控制台 (web UI) 中，有一個 Athena History 可用，顯示掃描的數據。 看截圖：

我希望能夠在更長的時間范圍內訪問此查詢信息，以分析和優化我的 Athena 使用情況。 如果需要，我也可以啟用一些日志記錄或監控服務。

我在哪里可以得到這個查詢日志？

Answer 1

我建議使用 AWS SDK，例如python的 boto3 庫。 特別是，您需要結合

• list_query_execution
• 獲取查詢執行

這是一個簡單的示例，您的腳本可能如下所示：

import boto3


client = boto3.client('athena')

response = client.list_query_executions()

for query_id in response['QueryExecutionIds']:
    query_execution_response = client.get_query_execution(
        QueryExecutionId=query_id
    )

    query_string = query_execution_response['QueryExecution']['Query']
    query_exec_stats = query_execution_response['QueryExecution']['Statistics']
    query_data_scanned = query_exec_stats['DataScannedInBytes']
    query_exec_time = query_exec_stats['TotalExecutionTimeInMillis']

    print(f"=> Query id: {query_id}")
    print(f"Executed SQL statement: {query_string}")
    print(f"Total execution time: {query_exec_time}")
    print(f"Total data scanned: {query_data_scanned}")

請注意，如果您運行了很多不同的查詢，那么您最好使用paginator 。