Apache Spark中的Persist选项

Question

嗨，我是Apache Spark的新手，我在Java中使用Apache Spark sql查询配置单元表。

这是我的代码

    SparkConf sparkConf = new 
SparkConf().setAppName("Hive").setMaster("local");   
   JavaSparkContext ctx = new JavaSparkContext(sparkConf);
    HiveContext sqlContext = new 
org.apache.spark.sql.hive.HiveContext(ctx.sc());
    org.apache.spark.sql.Row[] results = sqlContext.sql("Select * from 
Tablename where Column='Value'").collect();
    org.apache.spark.sql.Row[] results = sqlContext.sql("Select * from 
Tablename where Column='Value1'").collect();

我也尝试在同一个应用程序中运行两个不同的查询，并且看到它每次都与Hive Meta Store建立连接。 如何解决这个问题，还告诉我如何有效使用persist选项。

Answer 1

在执行两个查询之前，调用sqlContext.cacheTable("Tablename")可能会有所帮助。

根据文档，它可以满足您的需求。

将指定的表缓存在内存中。