示例 java spark 程序读取和加载 json 文件作为 RDD

Question

我正在寻找一个可以在 spark 中读取本地 json 文件的示例 java 程序。

Answer 1

该示例是http://spark.apache.org/docs/latest/sql-programming-guide.html#json-datasets文档的一部分：

// sc is an existing JavaSparkContext.
SQLContext sqlContext = new org.apache.spark.sql.SQLContext(sc);

// A JSON dataset is pointed to by path.
// The path can be either a single text file or a directory storing text files.
DataFrame people = sqlContext.read.json("examples/src/main/resources/people.json");

Answer 2

您必须创建自己的特定 jsonFormat 类，并且在 spark sc.textFile 中，您必须创建该类的对象并返回这些对象的 rdd，否则您将需要实现 json 记录读取器，该读取器将实现此接口 RecordReader[Key,价值]。