如何复制到 HDFS 文件并仍然保留权限？

Question

我创建了一个具有特定所有者和权限为 600 的零字节文件

-rw-------   3 cloudera hdfs         56 2014-04-01 18:47 Data/input/test.dat
cloudera:/home/cloudera

当我尝试通过 api 运行副本时，我看到它将权限从 600 翻转到 644。如何保留权限？ 任何帮助将不胜感激。

复制前

***>hadoop fs -ls Data/input/
Found 1 items
-rw-------   3 cloudera cloudera         10 2014-04-01 19:54 Data/input/test.dat

复印后

***>hadoop fs -ls Data/input/
Found 1 items
-rw-r--r--   3 cloudera cloudera         10 2014-04-01 19:55 Data/input/test.dat

我已经运行的脚本

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class FilePerm{
    public static void main(String[] args) throws IOException{
        Path src = new Path("/home/cloudera/input1.dat");
        Path tgt = new Path("Data/input/test.dat");

        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(conf);
        System.out.println(fs.getConf().get("dfs.support.append"));
        fs.copyFromLocalFile(src, tgt);
        System.out.println("Completed copy");
    }
}

另外，src 是本地 UNIX 文件系统上的文件，tgt 是 HDFS 上的文件。

Answer 1

您不是在复制文件，“copyFromLocal”真正的意思是“上传”。 您实际上是在执行从 hdfs 系统到自身的上传（您确定这是您想要做的吗？）。

无论哪种方式，当前的 hadoop 客户端库都不会检查“本地”是否是基于 hdfs 的文件系统，并且不会尝试维护权限（或对它们做任何事情，真的）。 如果你想在使用这个系统时有特定的权限，你必须自己设置它们（参见setPermission 和 FsPermission ）

对于您的特定用例，您可能需要查看FileUtil ，并确保指定两个文件系统（而不是两个文件）。