如何查看 AWS Glue Spark UI

Question

在我的 Glue 作業中，我啟用了 Spark UI 並指定了 Spark UI 工作所需的所有必要細節（s3 相關等）。
如何查看我的 Glue 作業的 DAG/Spark UI？

Answer 1

您需要設置一個可以托管歷史服務器的 ec2 實例。

以下文檔包含指向您可以使用的 CloudFormation 模板的鏈接。 https://docs.aws.amazon.com/glue/latest/dg/monitor-spark-ui-history.html

您可以通過 ec2 實例訪問歷史服務器（默認為 18080）。 您需要適當地配置網絡和端口。

編輯 - 還有一個選項可以在本地設置 SparkUI。 這需要從 aws-glue-samples 存儲庫下載 docker 映像並在那里設置 AWS 憑證和 s3 位置。 此服務器使用膠水作業生成的文件。 這些文件大約 4MB 大。