从 Hive 托管表中删除数据（分区和分桶）

Question

我们有一个 hive 托管表（它的分区和分桶，事务 = 'true'）。 我们正在使用 Spark（2.4 版）与这个 hive 表进行交互。

我们能够使用以下方法成功地将数据摄取到此表中；

sparkSession.sql("插入表值(''))

但是我们无法从该表中删除一行。 我们正在尝试使用以下命令删除；

sparkSession.sql("从表中删除 col1 = '' and col2 = '')

我们得到 operationNotAccepted 异常。

我们是否需要做任何特定的事情才能执行此操作？

谢谢

阿努伊

Answer 1

除非 DELTA 表，否则这是不可能的。

ORC 不支持删除 Hive 分桶表。 见https://github.com/qubole/spark-acid

AWS 上的 HUDI 也是一种选择。