如何仅访问纱线群集中的火花日志
[英]How to access only spark logs in a yarn cluster
问题描述
我在集群模式下使用spark with yarn，我想只检索有关spark的日志以便使用历史服务器。 有没有办法做到这一点，而不是从大日志文件中复制粘贴它？
1 个解决方案
解决方案1
3 已采纳 2017-09-07 08:10:37
是的，您可以记录每项任务的日志。 您需要转到纱线UI（8088端口）并复制任务的ID。 然后使用命令：
yarn logs --applicationId <TASK_ID>
例如：
yarn logs --applicationId application_1504771895665_0001
通过此命令，您可以查看任务使用的每个容器的日志。
如何使用电火花在纱线簇模式下将原木直接打印到控制台上
[英]How logs printed directly onto the console in yarn-cluster mode using spark
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.