是每個作業或每個會話的Spark應用程序主管
[英]Is spark application master per job or per session
問題描述
Spark Application Master按作業或會話分配。 在文檔中，它指出每個應用程序等於每個作業
1 個解決方案
解決方案1
0 2017-08-11 21:09:36
從技術上講，應用程序主控僅指在YARN上執行的Spark。 每個驅動程序（應用程序）啟動一次應用程序主程序，而驅動程序是外部進程（客戶端模式）或在主程序（群集）模式下運行。
單個Spark驅動程序可以提交多個作業，其中job是一系列轉換以及一個動作。
總結-每個SparkContext一次，並且可以用於管理多個作業。
Spark：在一個作業的每個節點上有多個執行程序有什么優勢？
[英]Spark: what's the advantages of having multiple executors per node for a Job?
在同一個 Spark 作業中設置每個 shuffle 的 shuffle 分區數
[英]Setting number of shuffle partitions per shuffle in the same Spark job
如何使用 Spark-SQL 在單擊 stream 數據集中計算每個用戶每分鍾唯一的 session id？
[英]How to calculate unique session id per user per minute in a click stream dataset using Spark-SQL?
spark 中的執行者和 yarn 中的 application master 是否做同樣的工作？
[英]Does executors in spark nd application master in yarn do the same job?
在Spark上進行配置時，在Spark Master Web UI中的作業應用程序中總是錯誤的executor_cores
[英]hive on spark, always wrong executor_cores in job application from spark master web UI
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
限制每個 Apache Spark 作業的核心數
Spark：每個執行者的核心對應用程序運行時間沒有影響
Spark：在一個作業的每個節點上有多個執行程序有什么優勢？
在同一個 Spark 作業中設置每個 shuffle 的 shuffle 分區數
如何使用 Spark-SQL 在單擊 stream 數據集中計算每個用戶每分鍾唯一的 session id？
spark 中的執行者和 yarn 中的 application master 是否做同樣的工作？
在Spark上進行配置時，在Spark Master Web UI中的作業應用程序中總是錯誤的executor_cores
每次觸發窗口功能
在每個Spark階段設置內存
Spark中每列的值總和
相關標簽