指定 spark-shell 查询文件的语法（使用 elasticsearch-spark 连接器）

Question

对于 spark-shell 命令，我想为 spark.es.query 参数指定一个文件：

] $SPARK_HOME/bin/spark-shell --master local[4] 
    --jars ~/spark/jars/elasticsearch-spark-20_2.11-5.1.2.jar 
    --conf spark.es.nodes="localhost" --conf spark.es.resource="myindex/mytype" 
    --conf spark.es.query="/home/pat/spark/myquery.json"

在外壳中：

scala> import org.elasticsearch.spark._
scala> val es_rdd = sc.esRDD("myindex/mytype")
scala> es_rdd.first()

我得到的输出：

17/02/04 07:41:31 ERROR TaskContextImpl: Error in TaskCompletionListener
org.elasticsearch.hadoop.EsHadoopIllegalArgumentException: Cannot determine 
specified query - doesn't appear to be URI or JSON based and location 
[/home/pat/spark/myquery.json] cannot be opened

当然，文件存在于路径上。 这是指定查询文件的好方法吗？

Answer 1

您收到此错误是因为 spark 和 es-connector 期望将文件路径作为 URI 传递：

SPARK_HOME/bin/spark-shell --master local[4] \
 --jars ~/spark/jars/elasticsearch-spark-20_2.11-5.1.2.jar \
 --conf spark.es.nodes="localhost" \
 --conf spark.es.resource="myindex/mytype" \
 --conf spark.es.query="file:///home/pat/spark/myquery.json"