Hadoop-在HDFS中手动拆分文件

Question

我提交了一个大小为1 GB的文件，我想将此文件拆分为大小为100MB的文件。 如何从命令行执行此操作。 我正在搜索类似的命令：

hadoop fs -split --bytes=100m /user/foo/one_gb_file.csv /user/foo/100_mb_file_1-11.csv

有没有办法在HDFS中做到这一点？

Answer 1

在HDFS中，我们不能期望Unix中所有可用的功能。 当前版本的hadoop fs实用程序不提供此功能。 也许是我们可以期望的。 您可能会提出一个错误（在Apache Jira中进行了改进），以便将该功能包含在hdfs中。

现在，您必须用Java编写自己的实现。