AWS Glue 中的 AWS 區域

Question

如何獲取當前 Glue 作業正在執行的區域？

---

當膠水作業開始執行時，我看到了輸出

Detected region eu-central-1 。

在 AWS Lambda 中，我可以使用以下幾行來獲取當前區域：

import os
region = os.environ['AWS_REGION']

但是，Glue 中似乎不存在AWS_REGION環境變量，因此引發了KeyError ：

KeyError: 'AWS_REGION'

---

我需要該區域的原因是我試圖獲取此問題中描述的所有數據庫和表，並且我不想在創建 boto 客戶端時對區域進行硬編碼。

Answer 1

一種選擇是將AWS_REGION作為作業參數傳遞。 例如，如果您從 Lambda 觸發作業：

import os

response = client.start_job_run(
    JobName = 'a_job_name',
    Arguments = {'--AWS_REGION': os.environ['AWS_REGION'] } 
)

或者，如果您使用AWS::Glue::Job CloudFormation 資源定義您的作業：

GlueJob:
  Type: AWS::Glue::Job
  Properties:
    Role: !Ref GlueRole
    DefaultArguments:
      "--AWS_REGION": !Sub "${AWS::Region}"
    Command:
      ScriptLocation: !Sub s3://${GlueScriptBucket}/glue-job.py
      Name: glueetl

然后，您可以使用getResolvedOptions提取作業代碼中的AWS_REGION參數：

import sys
from awsglue.utils import getResolvedOptions

args = getResolvedOptions(sys.argv, ['AWS_REGION'])
print('region', args['AWS_REGION'])

Answer 2

請改用os.environ['AWS_DEFAULT_REGION'] 。

把這個留給新訪客。

Answer 3

os.environ['AWS_DEFAULT_REGION']適用於 Glue 版本2.0 和 3.0 ，但在以前的版本中不存在。 它提供區域代碼，例如us-east-1 。

正如另一個答案所建議的，這通過運行一個小的 PySpark 腳本來打印出所有 Glue 版本上的環境變量來確認。