如何在spark web-ui中重新启动yarn服务器后保留已完成的应用程序

Question

我正在使用纱线资源管理器来制作火花。 重启纱线服务器后，spark-webui中所有已完成的作业都消失了。

在yarn-site.xml中添加了以下两个属性有人可以解释一下可能是什么原因，是否有任何属性来控制它。

<property>
      <name>yarn.log-aggregation-enable</name>
      <value>false</value>
</property>

<property>
    <name>yarn.nodemanager.log.retain-seconds</name>
    <value>86400</value>
</property>

谢谢。

Answer 1

如果在yarn-site.xml中将yarn.resourcemanager.store.class设置为true并设置yarn.resourcemanager.recovery.enabled ，则可以在重新启动时保留应用程序历史记录。

有关详细信息，请参阅ResourceManger Restart 。

您的其他条目是指日志记录，并定义您希望完成日志在清除之前保留多长时间。 您可以在yarn-default.xml中阅读有关它们的更多信息。