Java的Spark和Spark SQL的新功能

Question

我是Spark和Spark SQL的新手，但知道Java和SQL。

如何专门使用Spark SQL来获取一组使用Spark SQL转换为Spark的Oracle存储过程。 请举例。

Answer 1

以下代码是Spark SQL示例； 你能问我吗

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;

public class SparkSQL {

    public static void main(String[] args) {
        SparkSession sparkSession = SparkSession.builder().master("local").getOrCreate();
        Dataset<Row> peopleDS = sparkSession.read().json("C:\\people.json");
        peopleDS.createOrReplaceTempView("people");

        Dataset<Row> sql = sparkSession.sql("select city,avg(age) from people group by city");

        sql.show();



    }

}