如何尾纱原木？

Question

我正在使用以下命令提交 Spark 作业。 我想使用类似于 Linux 框中的尾部命令操作的应用程序 ID 来跟踪纱线日志。

export SPARK_MAJOR_VERSION=2
nohup spark-submit --class "com.test.TestApplication" --name TestApp --queue queue1 --properties-file application.properties --files "hive-site.xml,tez-site.xml,hbase-site.xml,application.properties" --master yarn --deploy-mode cluster Test-app.jar > /tmp/TestApp.log &

Answer 1

不容易。

“ YARN日志”并不是真正存在于YARN中，它们实际上位于Spark的执行程序节点上。 如果启用了YARN日志聚合，则日志位于HDFS中，并且可从Spark History服务器获取。

行业部署模式是将Spark log4j属性配置为使用日志转发器（例如Filebeat，Splunk，Fluentd）写入文件，然后这些进程将数据收集到诸如Solr，Elasticsearch，Graylog，Splunk等的搜索引擎中。这些工具，您可以在CLI外部大约尾部/搜索/分析日志消息。

Answer 2

如果用“纱线日志”表示您的执行者日志，则可以轻松查看该日志，如果可以访问提交纱线作业的执行者机器，则可以将其尾随。 您只需要做：

yarn logs -applicationId <you app ID>

在执行程序机器上。 如果配置正确，则可以在yarn UI中观看主日志。

Answer 3

yarn logs -applicationId application_1648123761230_0106 -log_files stdout -size -1000

https://docs.cloudera.com/HDPDocuments/HDP3/HDP-3.0.1/data-operating-system/content/use_the_yarn_cli_to_view_logs_for_running_applications.html