如果Spark SQL支持HQL，例如“插入覆盖目录”？

Question

我想问一下Spark SQL是否支持HQL，例如“插入覆盖目录”。 还是有另一种方法（从spark sql jdbc服务器）将结果集直接保存到HDFS？

Answer 1

此问题有一个jira尚未解决，因此该jira链接为https://issues.apache.org/jira/browse/SPARK-4131 。 但是您可以执行以下操作：

    JavaSchemaRDD employeeSchemaRDD = context.sql("SELECT * FROM employee");

    JavaRDD<String> strRDD=employeeSchemaRDD.map(new Function<Row, String>() {

        public String call(Row row) throws Exception {
            // TODO Auto-generated method stub
            return row.get(1).toString();
        }

    });
strRDD.saveAsTextFile("outputdir");

用要写入输出的HDFS url替换outputdir。 希望这个回答你的问题。