來自 Spark hivecontext 的查詢會鎖定 hive 表嗎？

Question

我知道如果我從 Hive 提交查詢，將獲得共享鎖，然后 Hive 表將被查詢鎖定： https : //cwiki.apache.org/confluence/display/Hive/Locking

所以我只是想知道查詢是否由 Spark Hivecontext 執行，是否需要鎖以及表是否也會被鎖定？ 另外，如果我通過 Spark Hivecontext 將數據插入表中，是否需要排他鎖？

謝謝

Answer 1

它在 Spark SQL v.1.6 中受支持，但在 2.x 和 3.x 版本中不受支持。

https://github.com/apache/spark/blob/branch-2.2/sql/catalyst/src/main/antlr4/org/apache/spark/sql/catalyst/parser/SqlBase.g4

unsupportedHiveNativeCommands
...
    | kw1=LOCK kw2=TABLE
    | kw1=LOCK kw2=DATABASE
    | kw1=UNLOCK kw2=TABLE
    | kw1=UNLOCK kw2=DATABASE