EMR 6.9 中的 EMR 6.7 配置給出錯誤 Classification 'spark-log4j' is not valid for parent classification 'null'

Question

我在軟件配置中使用 emr 6.7：

[
  {
    "Classification": "spark",
    "Properties": {
      "maximizeResourceAllocation": "true"
    }
  },
  {
    "Classification": "spark-log4j",
    "Properties": {
      "log4j.rootCategory": "ERROR, console"
    }
  }
]

但出於某種原因，當我轉向 emr 6.9 時。

was 網站開始拋出錯誤

分類“spark-log4j”對於父分類“null”無效。

如果我刪除這個 spark-log4j 然后它工作但開始提供不必要的 INFO 和 DEBUG 日志

如何在 EMR 6.9 中配置 spark-log4j？

Answer 1

現在有一個'spark-log4j2'的分類： https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-690-release.html#emr-690-class 。 我想使用它可以解決您的問題。