使用 AWS lambda 在 Athena 上運行查詢

Question

我在 AWSAthena 上有一個非常簡單的表，其中包含三列：名稱、城市和價格。 我可以運行以下簡單查詢：

select * from mytestdb.test where city='austin'

並且運行時間小於1秒。 我使用 boto3 創建了一個 lambda 函數來運行相同的查詢，但是查詢無法在 3 分鍾后完成

import time
import boto3

# athena constant
DATABASE = 'mytestdb'
TABLE = 'test'
# S3 constant
output='s3://mybucket'


COLUMN = 'city'

def lambda_handler(event, context):
    # get keyword
    keyword = 'Austin'
    # created query
    query = "SELECT * FROM %s.%s where %s = '%s';" % (DATABASE, TABLE, COLUMN, keyword)
    # athena client
    client = boto3.client('athena')


    # Execution
    response = client.start_query_execution(
        QueryString=query,
        QueryExecutionContext={
            'Database': DATABASE
        },
        ResultConfiguration={
            'OutputLocation': output,
        }
    )

    # get query execution id
    query_execution_id = response['QueryExecutionId']
    print(query_execution_id)

    # get execution status


    # get query execution

    query_status = client.get_query_execution(QueryExecutionId=query_execution_id)
    print('Amir2')
    query_execution_status = query_status['QueryExecution']['Status']['State']


    time.sleep(200)        

    if query_execution_status == 'SUCCEEDED':
        result = client.get_query_results(QueryExecutionId=query_execution_id)
    else:
        print('killed')
        client.stop_query_execution(QueryExecutionId=query_execution_id)

    return

該表總共有 10 行，所以它一點也不大。 是基於城市查找理想價值的正確方法還是有更好的方法來做到這一點？

更新：這是我的 lambda 權限（它具有對 athena 和 s3 的完全訪問權限：

{   "Version": "2012-10-17",   "Statement": [
    {
      "Sid": "Stmt1547414166585",
      "Action": [
        "athena:*"
      ],
      "Effect": "Allow",
      "Resource": "*"
    },
    {
      "Sid": "Stmt1547414166586",
      "Action": [
        "s3:*"
      ],
      "Effect": "Allow",
      "Resource": "arn:aws:s3:::your-bucket-name/*"
    }    ] }

Answer 1

這里有點晚了，但請確保您的 lambda 角色具有正確的策略。

我通過不僅可以完全訪問 Athena 還可以完全訪問您可能缺少的 Glue 來解決它。 將這些策略添加到您的 lambda 角色。