hadoop 命令在 HDFS 上拆分文件
[英]hadoop command to split files on HDFS
问题描述
我在 hdfs 上有一个文件，大小为 11 GB。 我想将其拆分为 1 GB 的多个文件。 我怎样才能做到这一点？ 我的hadoop版本是2.7.3
2 个解决方案
解决方案1
0 2017-07-26 19:07:25
如果有火花，请尝试以下-
下面的示例将输入文件分为2个文件：
spark-shell
scala> sc.textFile("/xyz-path/input-file",2).saveAsTextFile("/xyz-path/output-file")
解决方案2
0 2022-09-15 13:39:28
在 HDFS 中，文件已经被分割，每个dfs.block.size设置
使用 python 脚本从 hdfs (hadoop) 目录获取文件列表
[英]Get list of files from hdfs (hadoop) directory using python script
有没有办法列出 Hadoop hdfs 中的文件，并且只将文件名存储到本地而不是实际文件本身？
[英]Is there any way to list out files from Hadoop hdfs and store only the file names to the local and not the actual file itself?
java eclipse hadoop map reduce程序无法访问我存储在hdfs中的文件
[英]java eclipse hadoop map reduce program unable to access my files stored in hdfs
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.