hadoop fs -put和hadoop distcp之间的区别

Question

我们将在我们的数据湖项目中进行摄取阶段，并且我在Hadoop开发人员的经验中主要使用hadoop fs -put 。 那么与hadoop distcp的区别和用法的区别是什么？

Answer 1

Distcp是一种特殊工具，用于将数据从一个集群复制到另一个集群。 基本上，您通常从一个hdfs复制到hdfs，但不能复制到本地文件系统。 另一个非常重要的事情是，作为mapreduce作业完成的过程有0减少任务，这使得它由于操作的分配而更快。 它将文件和目录列表扩展为映射任务的输入，每个任务都将复制源列表中指定的文件的分区

hdfs put - 将数据从本地系统复制到hdfs。 在场景后面使用hdfs客户端，并通过访问NameNode和Datanodes按顺序完成所有工作。 不创建用于处理数据的MapReduce作业。

Answer 2

hdfs或hadoop put用于从Local到HDFS文件系统的数据摄取

distcp不能用于从Local到HDFS的数据摄取，因为它只适用于HDFS文件系统

我们广泛使用distcp （存档）备份和还原HDFS文件

hadoop distcp $ CURRENT_HDFS_PATH $ BACKUP_HDFS_PATH

Answer 3

“distcp不能用于从Local到HDFS的数据摄取，因为它仅适用于HDFS文件系统” - >它可以使用“file”（例如“file：///tmp/test.txt”）作为URL中的模式（ https://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-common/FileSystemShell.html ）

提示：使用“hadoop distcp -D dfs.replication = 1”减少复制操作期间的distcp进程时间，然后复制复制的文件。

Answer 4

Distcp is命令用于将数据从一个集群的hdfs位置映射到另一个集群的hdfs位置。 使用0 reducer创建MapReduce作业以处理数据。

hadoop -distcp webhdfs://source-ip/directory/filename webhdfs://target-ip/directory/

scp是用于将数据从一个群集的本地文件系统复制到另一个群集的本地文件系统的命令。

scp //source-ip/directory/filename //target-ip/directory/

hdfs put命令 - 将数据从本地文件系统复制到hdfs。 不创建用于处理数据的MapReduce作业。

hadoop fs -put -f /path/file /hdfspath/file

hdfs get命令 - 将数据从hdfs复制到本地文件系统

首先，转到要复制文件的目录，然后在命令下运行

hadoop fs -get /hdfsloc/file