[英]how to get spark-sbumit logging result
當我在終端上提交 Spark 作業時，它的日志記錄結果類似於終端中的圖像。
我怎樣才能得到它並將其設置為 value 或 object？
您可以 pipe spark-submit 命令到日志文件，如下所示：
spark-submit ... > log.txt
您可以查看來自應用程序的日志，並且您始終可以將日志寫入 .text 文件
yarn logs -applicationId <application ID> [OPTIONS]
應用 ID 可以通過集群 UI 找到
java.lang.NoClassDefFoundError：更好/ files / spark-sbumit中的文件用於scala代碼
[英]java.lang.NoClassDefFoundError: better/files/File in spark-sbumit for scala code
使用Spark結構化流時，如何僅獲取當前批次的聚合結果，如Spark流？
[英]When using Spark structured streaming , how to just get the aggregation result of current batch, like Spark Streaming?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.