如何調試 aws glue pyspark 作業

Question

我有一個 aws glue pyspark 作業，它在某個命令后長時間運行。 在日志中，它在該命令之后沒有寫任何東西，甚至是一個簡單的“print hello”語句。 我如何調試長時間運行甚至不寫入日志的 aws glue pyspark 作業。 作業沒有拋出任何錯誤，它在控制台中顯示運行狀態

Answer 1

AWS Glue 基於 Apache Spark，這意味着在調用操作之前不會有任何實際執行。 因此，如果您在兩者之間放置打印語句並在日志中看到它們，這並不意味着您的作業已執行到該點。 由於您的工作需要長時間運行，請查看 AWS 的這篇文章，其中解釋了Debugging Demanding Stages 和 Straggler Tasks 。 這也是一個值得一看的好博客。