将Hadoop集群从Big Insights迁移到Cloudera

Question

将1 TB大小的集群从Big Insights迁移到Cloudera的最佳方法是什么？

Cloudera是内核集群。

我们正在遵循的当前方法是分批进行： 将集群移至Unix文件系统
湾 SCP到Cloudera文件系统
C。 从cloudera文件系统转储到cloudera HDFS

这不是有效的方法

Answer 1

Distcp确实适用于kerberized集群

但是，尚不清楚您实际上是否拥有333GB x3副本= 1TB或实际上1TB的原始数据。

无论哪种情况，都非常欢迎您购买外部4TB（或更多）驱动器，并将copyToLocal每个文件都copyToLocal到copyToLocal ，然后将其上传到其他任何地方。