集群模式下的Spark提交会使应用程序视图不可用？

Question

我使用詹金斯（Jenkins）在--deploy-mode cluster集--deploy-mode cluster每小时运行一次spark-submit 。 是否推荐方法？ 因为有些事情似乎不起作用。

当我转到spark服务器并按“应用程序”名称时，它将尝试转到该端口（已防火墙）的计算机而不是服务器。 使用--deploy-mode cluster我希望能够在spark主机上看到此消息，因为spark-submit在此模式下会立即返回。

另外，我似乎无法打开DAG。 有关系吗？

我使用的完整命令是spark-submit --master spark://mysparkserver:6066 --deploy-mode cluster --class someClass --conf spark.driver.userClassPathFirst=true http://theJarUrl

Answer 1

找到了！ 尽管您可以在spark master上启用事件日志记录，但您还需要使用--conf spark.eventLog.enabled=true --conf spark.eventLog.dir=/opt/spark/spark-events在spark-submit指定它--conf spark.eventLog.enabled=true --conf spark.eventLog.dir=/opt/spark/spark-events 。 之后，您可以通过单击应用程序名称在spark-master上观看事件。 它还将允许检查完成的应用程序。

尽管如此，DAG可视化仍然对我不起作用。 如果有人对此提出建议，请发表评论。