火花插入覆蓋測試

Question

我是 pyspark 的新手，想玩插入覆蓋。

我創建了一個包含許多記錄的test_overwrite表。 然后我從test_overwrite創建了一個空的test_overwrite_3表並將一些數據放入其中。 （我確保結構是相同的。）

插入覆蓋 test_overwrite_3 select * from test_overwrite limit 3

我希望在執行帶有一些虛擬數據的test_overwrite_3表上方的代碼后，它會被刪除，並且它應該有我的test_overwrite表中的 3 條記錄。

相反，我收到了這樣的錯誤消息：

*SQL 語句中的錯誤：ParseException：在輸入“插入覆蓋 test_overwrite_3”（第 1 行，位置 17）時沒有可行的替代方法 == SQL == 插入覆蓋 test_overwrite_3 ----------------- ^^^ 從 test_overwrite* 中選擇 *

任何人都可以幫助出了什么問題嗎？ 謝謝！

Answer 1

no viable alternative at input 'insert overwrite test_overwrite_3

解析錯誤，而不是類型錯誤。 看到這個

我可以看到您的語句中缺少 table 關鍵字。

例子是：

sql(
      """
        |INSERT OVERWRITE TABLE table_with_partition
        |partition (p1='a',p2='b',p3='c',p4='c',p5='4')
        |SELECT 'blarr' FROM tmp_table
      """.stripMargin)