HDFS设置代表不起作用
[英]HDFS set rep doesn't work
问题描述
我在HDFS中有以下文件夹：/ data / 2016/05/01，并且此文件夹下还有很多文件，我尝试了以下命令来设置rep = 2。
hdfs dfs -setrep -w 2 /data/2016
hdfs dfs -setrep -R 2 /data/2016
但是当我将文件导入文件夹/ data / 2016/05/02时 ，复制仍为3。
1 个解决方案
解决方案1
2 已采纳 2016-05-30 21:06:27
文件上的复制设置在创建时设置，并且在移动时不会更改。 如果要将复制设置为“ 2”，请在创建复制时将其设置为“ FileSystem.setReplication或通过配置设置dfs.replication”，或者在移动文件后运行hdfs dfs -setrep -R 2 /data/2016那里。
如果 HDFS 中不存在目录，如何使用 pyspark 动态创建目录并设置文件和目录权限
[英]How to create directory dynamically if it doesn't exist in HDFS by using pyspark and set file and directory permission as well
强制HDFS globStatus跳过没有权限的目录
[英]Force HDFS globStatus to skip directories it doesn't have permissions to
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.