如何将 spark 数据框转换为 SQL 查询？

Question

现在我在 spark 数据框中获得了数据，我想转换回 SQL 进行一些分析。 有谁知道我该怎么做？ 像 df.to_sql(...)？

谢谢！

Answer 1

您可以使用explain运算符，请参阅此链接。

Answer 2

试试这个：

df.write.option('header','true').saveAsTable("my_sql_table")

然后，您可以使用 SQL 查询 my_sql_table。

Answer 3

您可以使用 Spark-sql 将 DataFrame 作为 SQL 处理。

val df = Seq(("Edward", 1, 1000,"me1@example.com"),
                ("Michal",2,15000,"me1@example.com"),
                ("Steve",3,25000,"you@example.com"),
                ("Jordan",4,40000, "me1@example.com")).
      toDF("Name", "ID", "Salary","MailId")
OR
val df = spark.read.json("examples/src/main/resources/employee.json")

// Displays the content of the DataFrame to stdout
df.show()
+------+---+------+---------------+
|  Name| ID|Salary|         MailId|
+------+---+------+---------------+
|Edward|  1|  1000|me1@example.com|
|Michal|  2| 15000|me1@example.com|
| Steve|  3| 25000|you@example.com|
|Jordan|  4| 40000|me1@example.com|
+------+---+------+---------------+

使用 $-notation 需要此导入

import spark.implicits._

// Print the schema in a tree format
df.printSchema()

// Select only the "name" column
df.select("name").show()

// Select employees whose salary > 15000
df.filter($"Salary" > 15000).show()

甚至 SparkSession 上的 sql 函数也使应用程序能够以编程方式运行 SQL 查询并将结果作为数据帧返回。

// Register the DataFrame as a SQL temporary view
df.createOrReplaceTempView("employee")

    val sqlDF = spark.sql("SELECT * FROM employee")
    sqlDF.show()

+------+---+------+---------------+
    |  Name| ID|Salary|         MailId|
    +------+---+------+---------------+
    |Edward|  1|  1000|me1@example.com|
    |Michal|  2| 15000|me1@example.com|
    | Steve|  3| 25000|you@example.com|
    |Jordan|  4| 40000|me1@example.com|
    +------+---+------+---------------+

Spark SQL 中的临时视图是会话范围的，如果创建它的会话终止，它就会消失。 如果您希望有一个在所有会话之间共享的临时视图并在 Spark 应用程序终止之前保持活动状态，您可以创建一个全局临时视图。

// Register the DataFrame as a global temporary view
df.createGlobalTempView("employee")

// Global temporary view is tied to a system preserved database `global_temp`
spark.sql("SELECT * FROM global_temp.employee").show()

+------+---+------+---------------+
|  Name| ID|Salary|         MailId|
+------+---+------+---------------+
|Edward|  1|  1000|me1@example.com|
|Michal|  2| 15000|me1@example.com|
| Steve|  3| 25000|you@example.com|
|Jordan|  4| 40000|me1@example.com|
+------+---+------+---------------+

请参阅 Spark 文档。

https://spark.apache.org/docs/2.3.0/sql-programming-guide.html

希望能帮助到你！