如何使用 spark (Eclipse) 從 Elasticsearch 讀取數據並將其轉換為表格格式

Question

我已成功將 csv 文件推送到我的 elasticsearch 中。

val spark=SparkSession.builder()
  .appName("eswithfunctions")
  .config("spark.master","local")
  .config("spark.es.nodes","localhost")
  .config("spark.es.port","9200")
  .getOrCreate()

  println("Enter path of file saved locally")
  val path=scala.io.StdIn.readLine()
  val dataframe=spark.read
  .option("inferSchema", "true").csv(path)

  println("Enter the name you want to save dataframe in Elasticsearch")
   val index=scala.io.StdIn.readLine()  
   dataframe.saveToEs(index-name) 

我如何從 elasticseach 服務器讀取相同內容並在 spark 中以表格格式查看結果。

Answer 1

您還可以手動指定將使用的數據源以及您希望傳遞給數據源的任何額外選項。 Data sources are specified by their fully qualified name (ie, org.apache.spark.sql.parquet), but for built-in sources, you can also use their short names (json, parquet, jdbc, orc, libsvm, csv,文本）。 從任何數據源類型加載的 DataFrame 都可以使用此語法轉換為其他類型。

要加載 JSON 文件，您可以使用：

val peopleDF = spark.read.format("json").load("examples/src/main/resources/people.json")
peopleDF.select("name", "age").write.format("parquet").save("namesAndAges.parquet")

有關火花的更多信息在這里。