在哪里可以找到spark.hadoop.yarn。*属性？

Question

我正在尝试运行spark（1.6.0）应用程序，该应用程序使用com.databricks.spark.csv jar从Eclipse的yarn client模式下加载csv文件。 它抛出CSVRelatio$annonfunc$func not found异常。 通过设置解决了

spark.hadoop.yarn.application.classpath

SparkConf属性。

我的问题是spark.hadoop.yarn.application.classpath属性未在任何spark.hadoop.yarn.application.classpath官方文档中列出。 那么在哪里可以找到所有这些属性？ 我知道这是一个愚蠢的问题，但是有很多初学者参考了官方文档（ https://spark.apache.org/docs/1.6.0/configuration.html ），他们根本不了解这些属性。

Answer 1

未列出，因为没有Spark属性。 spark. 仅使用前缀，因此Spark识别出应解析这些前缀，并将其放入org.apache.hadoop.conf.Configuration 。

在哪里寻找文件？ 您应该查看Hadoop文档中的相应组件。 例如对于YARN： https : //hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

您也应该不认为Spark具有自己的类路径相关属性，包括：

• spark.jars
• spark.packages
• spark.driver.extraClassPath / spark.executor.extraClassPath
• ....