錯誤：使用 Sqoop 將所有表從 MariaDB 導入 Hive 數據庫時文件路徑無效

Question

這是我使用 sqoop 的導入命令：

sqoop import-all-tables --connect jdbc:mysql://10.11.11.15:6306/siki_asmet?serverTimezone=Asia/Jakarta --username micronics -P --hive-import --warehouse-dir /warehouse/siki --hive-database siki_ods --exclude-tables "Sheet1$" --m 1;

當我運行上述命令時，出現以下錯誤：

SemanticException Line 1:17 Invalid path ''hdfs://master.lpjk.com:8020/warehouse/siki/_asdamkindo_personal_ska_pendidikan'':
No files matching path 
hdfs://master.lpjk.com:8020/warehouse/siki/_asdamkindo_personal_ska_pendidikan (state=42000,code=40000)

但是當我再次運行相同的 sqoop 命令時，它說文件已經存在。

Answer 1

我解決了我的問題。 在我的情況下，其中一個 talbes 的名稱以字符下划線“_”開頭，因此存在一個問題，即在存儲文件副本的 hdfs 目錄的路徑中自動添加了 2 個單引號。

我通過刪除下划線字符更改了列的名稱，現在我可以將表導入 Hive 數據庫。 我認為在 Hive 或 HDFS 中不容易解析這樣的特殊字符。