如何更改Spark程序的HDFS復制因子？

Question

我需要將Spark程序的HDFS復制因子從3更改為1。 在搜索時，我想到了“ spark.hadoop.dfs.replication”屬性，但是通過查看https://spark.apache.org/docs/latest/configuration.html ，它似乎不再存在。 因此，如何從我的Spark程序或使用spark-submit更改hdfs復制因子？

Answer 1

您應該使用spark.hadoop.dfs.replication在spark應用程序中設置HDFS中的復制因子。 但是，為什么不能在https://spark.apache.org/docs/latest/configuration.html中找到它？ 這是因為該鏈接僅包含spark特定的配置。 實際上，您設置的所有以spark.hadoop.*開頭的屬性都將自動轉換為Hadoop屬性，從而spark.haddoop.開頭的“ spark.haddoop. ”。 您可以在https://github.com/apache/spark/blob/d7b1fcf8f0a267322af0592b2cb31f1c8970fb16/core/src/main/scala/org/apache/spark/deploy/SparkHadoopUtil.scala中找到它的實現方式

您應該尋找的方法是appendSparkHadoopConfigs

Answer 2

HDFDS配置並不以任何方式特定於Spark。 您應該能夠使用標准Hadoop配置文件對其進行修改。 特別是hdfs-site.xml ：

<property> 
  <name>dfs.replication<name> 
  <value>3<value> 
<property>

也可以使用SparkContext實例訪問Hadoop配置：

val hconf: org.apache.hadoop.conf.Configuration = spark.sparkContext.hadoopConfiguration
hconf.setInt("dfs.replication", 3)