从火花日志中提取指标

Question

如何从 spark 历史日志中提取这些指标？ 有一些 api 我可以从中提取这些吗？

我尝试下载 json 事件日志，但我无法下载 grep 以获取照片中显示的数字

Answer 1

spark 历史服务器为您保留所有这些信息。 您可以通过 rest API 访问它。

如果您使用EMR ：

您可以按照创建 SSH 隧道或创建代理的过程查看 Spark web UI，方法是在 Amazon EMR 管理指南中称为“连接到集群”的部分中创建代理，然后导航到集群的 YARN ResourceManager。 在您的应用程序的跟踪 UI 下选择链接。 如果您的应用程序正在运行，您会看到 ApplicationMaster。 这会将您带到应用程序主机的 web UI 端口 20888，无论驱动程序位于何处。 如果您在 YARN 客户端模式下运行，驱动程序可能位于集群的主节点上。 如果您在 YARN 集群模式下运行应用程序，则驱动程序位于集群上应用程序的 ApplicationMaster 中。 如果您的应用程序已完成，您会看到历史记录，它会将您带到 EMR 集群主节点的 18080 处的 Spark HistoryServer UI 端口号。 这适用于已经完成的应用程序。 您还可以通过 http://master-public-dns-name:18080/ 直接导航到 Spark HistoryServer UI。