如何僅訪問紗線群集中的火花日志
[英]How to access only spark logs in a yarn cluster
問題描述
我在集群模式下使用spark with yarn，我想只檢索有關spark的日志以便使用歷史服務器。 有沒有辦法做到這一點，而不是從大日志文件中復制粘貼它？
1 個解決方案
解決方案1
3 已采納 2017-09-07 08:10:37
是的，您可以記錄每項任務的日志。 您需要轉到紗線UI（8088端口）並復制任務的ID。 然后使用命令：
yarn logs --applicationId <TASK_ID>
例如：
yarn logs --applicationId application_1504771895665_0001
通過此命令，您可以查看任務使用的每個容器的日志。
如何使用電火花在紗線簇模式下將原木直接打印到控制台上
[英]How logs printed directly onto the console in yarn-cluster mode using spark
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.