[英]Loading data in Hive table with Hadoop
我正在尋找通過.sql腳本在Hive表中加載數據,但遇到這樣的問題:
hduser@master:~$ hive -f script.sql
Logging initialized using configuration in jar:file:/home/hduser/ecosystem/apache-hive-2.3.0-bin/lib/hive-common-2.3.0.jar!/hive-log4j2.properties Async: true
OK
Time taken: 5.798 seconds
Loading data to table default.test
Failed with exception Unable to move source file:/home/hduser/Data.txt to destination hdfs://master:9000/user/hive/warehouse/test/Data.txt
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Unable to move source file:/home/hduser/Data.txt to destination hdfs://master:9000/user/hive/warehouse/test/Data.txt
我的腳本看起來像:
CREATE TABLE IF NOT EXISTS Test (
id int, mdp string, id_employe int, category int)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n' ;
LOAD DATA LOCAL INPATH '/home/hduser/Data.txt' OVERWRITE INTO TABLE Test ;
/home/hduser
中的權限為:
hduser@master:~$ ls -l
total 5364168
-rwx-wx-wx 1 hduser hduser 5492885458 août 24 11:38 Data.txt
-rw-rw-r-- 1 hduser hduser 684 août 24 12:14 derby.log
drwxrwxr-x 3 hduser hduser 4096 juil. 26 11:46 ecosystem
drwxrwxr-x 5 hduser hduser 4096 août 24 12:14 metastore_db
-rwx-wx-wx 1 hduser hduser 233 août 24 12:10 script.sql
數據如下:
1, jhkjhkjh, 18, 11
2, poilll, 87, 13
3, aoudliaoiud, 98, 76
...
在http://172.30.10.182:50070/explorer.html#/
我有:
drwx-wx-wx hduser supergroup 0 B Aug 24 11:40 0 0 B tmp
then
drwx-wx-wx hduser supergroup 0 B Aug 24 11:40 0 0 B hive
then
drwx-wx-wx hduser supergroup 0 B Aug 24 12:14 0 0 B hduser
then
drwx-wx-wx hduser hduser 0 B Aug 24 12:12 0 0 B warehouse
then
drwx-wx-wx hduser hduser 0 B Aug 24 12:12 0 0 B test
您知道為什么我可以用Data.txt中的數據填充測試表嗎?
您要寫入文件的目錄是
/user/hive/warehouse/test/
您通過資源管理器檢查的權利適用於
/tmp/hive/warehouse/test/
因此,這顯然是不匹配的。
我認為您在haddop中存在權限問題。 使用以下命令提供許可,並驗證data.txt文件未損壞
hadoop fs -chmod g + w /用戶/配置單元/倉庫/測試/
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.