在 AWS Glue 交互中提供參數 session

Question

我正在嘗試使用 AWS Glue 中的交互式會話在 pyspark 中開發 AWS Glue 作業。 要使用job.init ，我在示例中看到JOB_NAME是這樣傳遞的

args = getResolvedOptions(sys.argv, ['JOB_NAME'])
...
job.init(args['JOB_NAME'], args)

a) 當我在 Glue Studio 編輯器中運行筆記本時，我得到： GlueArgumentError: the following arguments are required: --JOB_NAME 。 如何在不運行整個作業的情況下設置參數？

b) 最后，我想在 VS Code 中進行開發。 有沒有辦法在那里設置 JOB_NAME 參數？

Answer 1

在您的 Glue Interactive 會話筆記本中，您可以通過更新 sys.argv 手動添加所需的 arguments。 請參見下面的示例：

sys.argv+=['--JOB_NAME', 'my_test_job']
args = getResolvedOptions(sys.argv,
                          ['JOB_NAME'])
print(args)