如何将Spark数据帧另存为已分区的Hive表的分区

Question

如何将spark数据帧保存到分区的配置单元表的一个分区中？

raw_nginx_log_df.write.saveAsTable("raw_nginx_log")

上面的方法可以覆盖整个表，但不能覆盖特定的分区。 尽管我可以通过以下代码解决问题，但这显然并不优雅。

raw_nginx_log_df.registerTempTable("tmp_table")
sql(s"INSERT OVERWRITE TABLE raw_nginx_log PARTITION (par= '$PARTITION_VAR')")

似乎在stackoverflowc.com中，从来没有问过类似的问题！

Answer 1

YourDataFrame.write.format("parquet").option("/pathHiveLocation").mode(SaveMode.Append).partitionBy("partitionCol").saveAsTable("YourTable")

用于镶木地板文件/桌子。 您可以根据需要自定义它。