更新的 dataframe 列值无法覆盖 Hive

Question

考虑带有列aid和bid的 hive 表tbl

|  aid | bid  |
---------------
|      |  12  |
|  24  |  13  |
|  18  |   3  |
|      |   7  |
---------------

要求是当aid是 null 或空字符串时， aid应该被bid值覆盖

|  aid | bid  |
---------------
|  12  |  12  |
|  24  |  13  |
|  18  |   3  |
|   7  |   7  |
---------------

代码很简单

val df01 = spark.sql("select * from db.tbl")
val df02 = df01.withColumn("aid", when(col("aid").isNull || col("aid") <=>  "", col("bid")) otherwise(col("aid")))

在spark-shell中运行时， df02.show显示正确的数据，如上表

问题是当将数据写回 hive

df02.write
  .format("orc")
  .mode("Overwrite")
  .option("header", "false")
  .option("orc.compress", "snappy")
  .insertInto(tbl)

没有错误，但是当我验证数据时

select * from db.tbl where aid is null or aid= '' limit 10;

我仍然可以看到查询返回多行，辅助为 null

如果之前像上面的示例一样更新列值，如何将数据覆盖回 hive？

Answer 1

我会试试这个

df02.write
  .orc
  .mode(SaveMode.Overwrite)
  .option("compression", "snappy")
  .insertInto(tbl)