如何使用Java API将文本文件，图像存储到Apache Spark中？

Question

我是Apache Spark的新手。 我正在使用Windows OS，并且spark已安装在远程Linux OS中。 是否可以使用Java API在Spark配置中添加IP地址和端口？ 请分享spark java示例。

提前致谢。

Answer 1

如果您只是想玩Spark，建议您从应用程序中启动本地Spark。 这是一个Java示例（旧的1.6语法）：

public static void trySparkTestClass() throws IOException {
    SparkConf conf = new SparkConf()
            .setMaster("local[*]")
            .setAppName("TestSparkSample");

    JavaSparkContext jsc = new JavaSparkContext(conf);
    HiveContext sqlContext = new HiveContext(jsc);
    DataFrame myJson = sqlContext.read().json("myJson");
    jsc.stop();
}