如何尾紗原木？

Question

我正在使用以下命令提交 Spark 作業。 我想使用類似於 Linux 框中的尾部命令操作的應用程序 ID 來跟蹤紗線日志。

export SPARK_MAJOR_VERSION=2
nohup spark-submit --class "com.test.TestApplication" --name TestApp --queue queue1 --properties-file application.properties --files "hive-site.xml,tez-site.xml,hbase-site.xml,application.properties" --master yarn --deploy-mode cluster Test-app.jar > /tmp/TestApp.log &

Answer 1

不容易。

“ YARN日志”並不是真正存在於YARN中，它們實際上位於Spark的執行程序節點上。 如果啟用了YARN日志聚合，則日志位於HDFS中，並且可從Spark History服務器獲取。

行業部署模式是將Spark log4j屬性配置為使用日志轉發器（例如Filebeat，Splunk，Fluentd）寫入文件，然后這些進程將數據收集到諸如Solr，Elasticsearch，Graylog，Splunk等的搜索引擎中。這些工具，您可以在CLI外部大約尾部/搜索/分析日志消息。

Answer 2

如果用“紗線日志”表示您的執行者日志，則可以輕松查看該日志，如果可以訪問提交紗線作業的執行者機器，則可以將其尾隨。 您只需要做：

yarn logs -applicationId <you app ID>

在執行程序機器上。 如果配置正確，則可以在yarn UI中觀看主日志。

Answer 3

yarn logs -applicationId application_1648123761230_0106 -log_files stdout -size -1000

https://docs.cloudera.com/HDPDocuments/HDP3/HDP-3.0.1/data-operating-system/content/use_the_yarn_cli_to_view_logs_for_running_applications.html