从Hive表中读取行并在Scala-Spark中写入文件

Question

我想从spark-scala程序中的配置单元表之一读取数据行，之后，需要将相同的数据逐行写入文件。 实际上是逐行写入文件。 谁能分享指针？ Spark版本1.6，Hive1.2。

Answer 1

您可以像这样从表中读取...

val mydf = hiveContext.sql("select * from hive_table_name")

mydf.write.save.format("com.databricks.spark.csv").option("header", "true").save(hdfs_path_to_save)

如果在Spark 2.0之前的版本中，这是您需要的CSV解析器的帮助https://github.com/databricks/spark-csv