k8s 上的 Spark 无法对 ECK 进行身份验证

Question

我对在 Kubernetes 上使用 Elasticsearch 和 Spark 感到非常兴奋，但我无法向它验证我的工作。 我使用以下模板在我的 GKE 集群上成功安装了 ECK（没有 TLS => 用于测试）（感谢 Helm）：

 apiVersion: v1
 kind: Secret
 metadata:
   name: smart-agriculture-elasticsearch-es-elastic-user # I override the default password for user "elastic" created by ECK during its installation
   namespace: dev
 type: Opaque
 data:
   elastic: dG90bwo= # password is "toto" in base64
 ---
 apiVersion: elasticsearch.k8s.elastic.co/v1
 kind: Elasticsearch
 metadata:
   name: smart-agriculture-elasticsearch
   namespace: dev
 spec:
   version: 7.6.1
   nodeSets:
     - name: default
       count: 1
       config:
         node.master: true
         node.data: true
         node.ingest: true
         node.store.allow_mmap: false
   http:
     tls:
       selfSignedCertificate:
         disabled: true

然后我想使用我的 spark 作业连接到我的 Elasticsearch 集群，这是我的 elasticsearch 依赖项和我在 Scala 中的 hello world 代码

——

<dependency>
  <groupId>org.elasticsearch</groupId>
  <artifactId>elasticsearch-spark-20_2.11</artifactId>
  <version>7.6.1</version>
</dependency>   

——

import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
import org.elasticsearch.spark._

object ElasticSparkHelloWorld {
  def main(args: Array[String]) {

   val conf = new SparkConf().setAppName("spark-es-to-parquet").setMaster("k8s://https://10.0.0.1:443")
   conf.set("executor.instances","2")
   conf.set("kubernetes.namespace", "dev")
   conf.set("kubernetes.authenticate.driver.serviceAccountName", "spark-sa") # searvice account created in another template, it works !
   conf.set("es.index.auto.create", "false")
   conf.set("es.nodes.wan.only", "true")
   conf.set("es.nodes", "http://smart-agriculture-elasticsearch-es-http")
   conf.set("es.port", "9200")
   conf.set("es.net.http.auth.user", "elastic") # user
   conf.set("es.net.http.auth.pass", "toto") # password

   val sc = new SparkContext(conf)

   val numbers = Map("one" -> 1, "two" -> 2, "three" -> 3)
   val airports = Map("arrival" -> "Otopeni", "SFO" -> "San Fran")

   sc.makeRDD(
     Seq(numbers, airports)
   ).saveToEs("spark/docs")
 }
}

但是，我在 spark 中遇到了以下我不太明白的错误：

Caused by: org.elasticsearch.hadoop.rest.EsHadoopInvalidRequest: org.elasticsearch.hadoop.rest.EsHadoopRemoteException: security_exception: unable to authenticate user [elastic] for REST request [/]

在 Elasticsearch 日志中，我有：

Authentication to realm file1 failed - Password authentication failed for elastic

有谁知道如何解决这个问题或有我可以使用的信息（链接、文档...）？

谢谢 ！

Answer 1

我解决了我的问题。 我覆盖了 ECK 默认创建的密码。 不要这样做，它的工作原理！ 将有一个新功能来创建具有角色和密码的新用户。