如何使用电火花在纱线簇模式下将原木直接打印到控制台上
[英]How logs printed directly onto the console in yarn-cluster mode using spark
问题描述
我是Spark的新手，我想在纱线簇模式下使用apache spark在控制台上打印日志。
1 个解决方案
解决方案1
0 2017-03-20 15:41:10
您需要检查log4j.properties文件中的值。 就我而言，我在/etc/spark/conf.dist目录中有此文件
log4j.rootCategory=INFO,console
INFO-在控制台上打印所有日志。 您可以将值更改为ERROR，WARN以限制您希望在控制台上看到的信息，因为火花日志可能不堪重负
有关故障转移过程如何在纱线群集模式下为Spark驱动程序（及其YARN容器）工作的资源/文档
[英]Resources/Documentation on how does the failover process work for the Spark Driver (and its YARN Container) in yarn-cluster mode
在 yarn-cluster 模式下运行 Spark 时出错（应用程序返回退出代码 1）
[英]Error (application returned with exitcode 1) when running Spark in yarn-cluster mode
使用--master yarn-cluster运行spark-submit：spark-assembly问题
[英]Running spark-submit with --master yarn-cluster: issue with spark-assembly
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
纱线群集模式下Spark作业的ClassNotFoundException
有关故障转移过程如何在纱线群集模式下为Spark驱动程序（及其YARN容器）工作的资源/文档
Spark yarn-cluster模式-读取通过--files传递的文件
使用yarn-cluster模式初始化SparkContext时出错
连接CDH 5.4中的纱线簇上的火花
Spark在纱簇上提交-Hive错误
在 yarn-cluster 模式下运行 Spark 时出错（应用程序返回退出代码 1）
使用--jars的spark-submit yarn-cluster不起作用？
使用Spark-SQL通过yarn-cluster的坏hdfs权限
使用--master yarn-cluster运行spark-submit：spark-assembly问题
相关标签