Spark 分区 Hive 表

Question

我正在尝试使用不同的时间戳对配置单元表进行分区。 我有一个带有时间戳的表，但是当我执行 hive 分区查询时，它说它不是有效的分区列。 这是表：

+---+-----------------------+
|id |rc_timestamp           |
+---+-----------------------+
|1  |2017-06-12 17:18:39.824|
|2  |2018-06-12 17:18:39.824|
|3  |2019-06-12 17:18:39.824|
+---+-----------------------+

spark.sql("SET hive.exec.dynamic.partition.mode=nonrestrict")

val tempTable  = spark.sql("SELECT * FROM partition_table")

val df = tempTable.select("rc_timestamp")

val a = x.toString().replaceAll("[\\[\\]]","")

df.collect().foreach(a => {
  spark.sql(s"ALTER TABLE mydb.partition_table ADD IF NOT EXISTS PARTITION 
  (rc_timestamp = '$a')").show()
)}

这是我得到的错误：

org.apache.spark.sql.AnalysisException: rc_timestamp is not a valid partition column 
in table mydb.partition_table.;

Answer 1

第一件事是使用这个InsertSuite 测试用例检查你的语法，特别是这个

AFAIK 你需要 msck 修复或刷新表

spark.sql(s"refresh table tableNameWhereYouAddedPartitions")

它的作用是刷新现有分区。

你可以使用spark.sql('MSCK REPAIR TABLE table_name')

有一种叫做recoverPartitions东西（仅适用于分区表，不适用于视图）。 这是msck repair table别名版本。 你可以继续尝试这个..

看到这个ddl.scala似乎与文档相等。
示例用法：

spark.catalog.recoverPartitions(tableName) 

注意：RECOVER PARTITIONS 子句自动识别这些新目录中存在的任何数据文件，与 REFRESH 语句相同。

Answer 2

您不能更改 Hive 表上的分区方案。 这将不得不重写完整的数据集，因为分区映射到 HDFS/S3/FileSystem 中的文件夹。

如果要更改分区方案，唯一的选择是创建一个新表并在create table命令中提供分区信息。 之后，您必须将数据从旧表插入新表。 您也可以使用CTAS命令。

ALTER TABLE mydb.partition_table ADD IF NOT EXISTS PARTITION <(rc_timestamp = '$a')> - 命令仅在元存储中为现有分区 Hive 表添加新分区。 例如，假设您有一个表T1 ，它在列year上分区。 如果您想让 Metastore 了解“year = 2018”，则使用此命令。