我们可以在AWS Glue中设置spark.sql.shuffle.partitions吗？

Question

AWS Glue文档没有提及关于spark.sql.shuffle.partitions（默认为200）以及如何增加/减少它的任何内容？ AWS胶水甚至可能吗？ 还是我们只能容纳200个分区？ 周围有什么好的文档吗？

Answer 1

AWS Glue文档不算是出色的...实际上，AWS Glue文档告诉您显式不设置配置。 但是，从大多数有关AWS Glue基础设施的答案中可以看到，答案的确是设置配置。

您可以根据需要采取多种方式。 假设您要将此值设置为100。

1. 您可以将作业参数添加到胶水作业中，如下所示：-- --conf spark.sql.shuffle.partitions=100
2. 在您的代码中，您可以像这样显式更新sqlContext： sqlContext.setConf("spark.sql.shuffle.partitions", "100")
3. 在RDD或SparkSQL中，您可以像df.repartition(100)或rdd.repartition(100)一样在rdd对象或数据帧上调用repartition 。
4. 在RDD中，各种连接方法采用可以像这样设置的参数numPartitions ： rdd1.join(rdd1, numPartitions=100)