“ spark-shell”和“ spark-shell --master = local”有什么区别？

Question

如果我使用以下两个命令打开Spark，有人可以帮助我理解有什么区别吗？

1. spark-shell
2. spark-shell --master=local

Answer 1

当您启动不带--master选项的spark shell时，将利用本地计算机的所有内核，如您在日志中看到的，它以以下消息开头

Spark context available as 'sc' (master = local[*], app id = local-1519264959885).
Spark session available as 'spark'.

但是，当您使用--master local选项启动时 ， 它将开始仅利用本地计算机的一个内核，如您在日志中所见

Spark context available as 'sc' (master = local, app id = local-1519265031949).
Spark session available as 'spark'.