簡體   English   中英

當 hive 將文件從 HDFS 加載到表中時,如何阻止 hive 移動數據?

[英]How to stop hive from moving data when hive loads files from HDFS into tables?

Hive 版本是3.1.0 ,sql 是LOAD DATA INPATH 'filepath' OVERWRITE INTO TABLE tablename filepath可以引用一個文件(在這種情況下,Hive 會將文件移動到表中)或者它可以是一個目錄(在這種情況下,Hive 將將該目錄中的所有文件移動到表中)。 我希望 hive 只復制文件,而不是移動到 hive 倉庫目錄,因為文件也在其他地方使用。 我該怎么辦?

LOAD DATA命令移動文件。 如果要復制,請使用上述命令之一:

使用copyFromLocal命令:

 hdfs dfs -copyFromLocal <localsrc> URI

put命令:

 hdfs dfs -put <localsrc> ... <dst> 

如果您的文件已經在 HDFS 中,或者您可以在該目錄的頂部創建表/分區,指定location ,而根本不復制它們。 ALTER TABLE SET location 也將起作用。

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM