如何從運行的Spark應用程序獲取聚合日志
[英]how to get aggregated logs from running Spark application
問題描述
我有一個連續運行的Spark應用程序，它從Kafka讀取msgs並進行一些處理。 有沒有一種方法可以匯總“應用程序日志”？
AFAIK，僅當SparkContext被銷毀時才發生日志聚合。
1 個解決方案
解決方案1
0 2016-10-05 16:35:55
您是否嘗試過將標准YARN命令用於日志？
紗線日志-applicationId some-id
將 Logback 中的應用程序日志與 log4j 中的 Spark 日志分開
[英]Separating application logs in Logback from Spark Logs in log4j
Spark應用程序崩潰后如何在紗線中保留Spark執行程序日志
[英]How to retain Spark executor logs in Yarn after Spark application is crashed
是否有可能獲得已經運行的火花應用程序的sparkcontext？
[英]Is it possible to get sparkcontext of an already running spark application?
從SPARK Web UI殺死Apache Spark應用程序后如何殺死它在后台運行
[英]How to kill apache spark application running in background after killing it from SPARK web UI
我正在為我的應用程序使用spark，但是卻收到不必要的日志。 如何禁用Spark Java應用程序中的日志
[英]I am using spark for my application, but i am getting unnecessary logs. How can i disable logs in spark java application
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
如何查看Spark獨立群集的聚合日志
將 Logback 中的應用程序日志與 log4j 中的 Spark 日志分開
從Eclipse運行Spark應用程序
Spark應用程序崩潰后如何在紗線中保留Spark執行程序日志
是否有可能獲得已經運行的火花應用程序的sparkcontext？
從SPARK Web UI殺死Apache Spark應用程序后如何殺死它在后台運行
從HDInsight群集頭節點運行Spark應用程序
我正在為我的應用程序使用spark，但是卻收到不必要的日志。 如何禁用Spark Java應用程序中的日志
如何優雅地停止運行 Spark Streaming 應用程序？
如何使用默認的集群管理器讓工作人員登錄spark？
相關標簽