“ spark-shell”和“ spark-shell --master = local”有什么區別？

Question

如果我使用以下兩個命令打開Spark，有人可以幫助我理解有什么區別嗎？

1. spark-shell
2. spark-shell --master=local

Answer 1

當您啟動不帶--master選項的spark shell時，將利用本地計算機的所有內核，如您在日志中看到的，它以以下消息開頭

Spark context available as 'sc' (master = local[*], app id = local-1519264959885).
Spark session available as 'spark'.

但是，當您使用--master local選項啟動時 ， 它將開始僅利用本地計算機的一個內核，如您在日志中所見

Spark context available as 'sc' (master = local, app id = local-1519265031949).
Spark session available as 'spark'.