如何使用電火花在紗線簇模式下將原木直接打印到控制台上
[英]How logs printed directly onto the console in yarn-cluster mode using spark
問題描述
我是Spark的新手，我想在紗線簇模式下使用apache spark在控制台上打印日志。
1 個解決方案
解決方案1
0 2017-03-20 15:41:10
您需要檢查log4j.properties文件中的值。 就我而言，我在/etc/spark/conf.dist目錄中有此文件
log4j.rootCategory=INFO,console
INFO-在控制台上打印所有日志。 您可以將值更改為ERROR，WARN以限制您希望在控制台上看到的信息，因為火花日志可能不堪重負
有關故障轉移過程如何在紗線群集模式下為Spark驅動程序（及其YARN容器）工作的資源/文檔
[英]Resources/Documentation on how does the failover process work for the Spark Driver (and its YARN Container) in yarn-cluster mode
在 yarn-cluster 模式下運行 Spark 時出錯（應用程序返回退出代碼 1）
[英]Error (application returned with exitcode 1) when running Spark in yarn-cluster mode
使用--master yarn-cluster運行spark-submit：spark-assembly問題
[英]Running spark-submit with --master yarn-cluster: issue with spark-assembly
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
紗線群集模式下Spark作業的ClassNotFoundException
有關故障轉移過程如何在紗線群集模式下為Spark驅動程序（及其YARN容器）工作的資源/文檔
Spark yarn-cluster模式-讀取通過--files傳遞的文件
使用yarn-cluster模式初始化SparkContext時出錯
連接CDH 5.4中的紗線簇上的火花
Spark在紗簇上提交-Hive錯誤
在 yarn-cluster 模式下運行 Spark 時出錯（應用程序返回退出代碼 1）
使用--jars的spark-submit yarn-cluster不起作用？
使用Spark-SQL通過yarn-cluster的壞hdfs權限
使用--master yarn-cluster運行spark-submit：spark-assembly問題
相關標簽