Azure HD Insight - YARN UI 突然沒有在 stderr 上顯示日志

Question

我們過去常常通過轉到日志--> stderr 來查看我們的應用程序日志，它曾經顯示 SPARK INFO 日志以及我們自己的 INFO 日志，在過去的 1 個月中，它只顯示以下內容：

SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/hdp/4.1.0.26/spark2/jars/slf4j-log4j12-1.7.16.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/hdp/4.1.0.26/hadoop/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]

我們使用 Azure HDI 已經超過 2 年了，因為最近 3-4 周 YARN UI 沒有在 stderr 上打印日志。我們嘗試了所有選項，例如使用舊 HDI 版本、使用我們的舊 jar 文件、研究 log4j 屬性，但沒有任何效果。 我們猜測 log4j 輸出以某種方式被重定向到其他地方。 但是我們從未更改任何配置屬性，也不知道要更改什么。 我們還嘗試使用 Livy 和 spark-submit 提交作業，同樣的問題。

但是我們應該提到，如果我們使用“println()”，它可以工作並在 stderr 上打印。

請欣賞任何線程/幫助。

Answer 1

你可以嘗試一些事情：

• 檢查Spark History server在 Ambari 中是否運行良好
• 在 Ambari => Spark2 中找到下面的配置鍵並將控制台添加到任何有 - Dlog4jspark.root.logger=INFO,RFA,Anonymizer到Dlog4jspark.root.logger=INFO,console,RFA,Anonymizer

您可以在以下屬性中找到它spark.executor.extraJavaOptions 、 content 、 spark.driver.extraJavaOptions

• 您是否能夠使用

   yarn logs -applicationId <appid> --appOwner <userid>

或者

   yarn logs -applicationId <appid> 

如果它沒有顯示出來，那么您需要檢查目錄中用戶的權限以及 log4j 屬性（ spark.yarn.app.container.log.dir ）的剩余空間和使用空間（ du -h ）。 你可以參考這里

• 您需要檢查您是否仍然面臨其他用戶的問題。
• 嘗試使用部署模式的小型 Spark 作業作為客戶端，因為其集群模式期望 log4j 出現在每個節點中。
• 作為一種解決方法，您可以在此處使用自定義 log4j.Link