如何將“spark.sql.shuffle.partitions”設置為自動

Question

我的要求是設置spark.sql.shuffle.partitions=auto

但是我在運行以下代碼時遇到以下錯誤

%python
spark.conf.set("spark.sql.shuffle.partitions=auto")

error 
TypeError                                 Traceback (most recent call last)
<command-3238694083679317> in <cell line: 1>()
----> 1 spark.conf.set("spark.sql.shuffle.partitions=auto")

TypeError: set() missing 1 required positional argument: 'value'

Answer 1

解決方案如下。

%python spark.conf.set("spark.sql.shuffle.partitions","auto")

上面的代碼會將洗牌分區設置為“自動”..

通過下面的代碼，我們可以看到隨機分區的值。

%python spark.conf.get("spark.sql.shuffle.partitions")