使用s3 dist cp将数据从非emr群集复制到s3时出现权限问题

Question

陈述我的问题
1）我想将我们的cdh hadoop集群备份到s3
2）我们正在运行一个emr集群
3）我试图从emr群集运行s3distcp，将src作为cdh远程群集的hdfs URL并将目标作为s3。

有以下错误：引起原因：org.apache.hadoop.ipc.RemoteException（org.apache.hadoop.security.AccessControlException）：权限被拒绝：user = mapred，access = RE AD_EXECUTE，inode =“ / tmp / hadoop-mapred /映射/分段”

在这里浏览文档后，以下是我的问题

http://docs.aws.amazon.com/emr/latest/ReleaseGuide/UsingEMR_s3distcp.html

1）这可行吗？ 从s3distcp文档中可以看到，可以指定任何hdfs网址。 但是我找不到任何有关在外部集群的情况下如何工作的文档。

2）我想知道登台目录的位置（曾提到s3distcp在将数据复制到s3之前将数据复制到该目录）是在文档中提到的，即在远程集群或emr集群中创建的。

Answer 1

绝对有可能。 看不到distcp命令很难说。 这里是一些一般信息...

我们构建了一个相当复杂的过程，将CDH集群备份到S3。 我们不必做任何特殊的处理临时目录。 我们使用了CDH发行版中包含的distcp，它工作正常。

所有这些都从Shell脚本运行。 我们得出的关键命​​令是

hadoop distcp $distcp_opts -m 20 -numListstatusThreads 15 -strategy dynamic -update -delete $distcp_source $distcp_target

首先设置这些变量：

distcp_opts="-Dfs.s3a.multipart.uploads.enabled=false -Dmapreduce.map.memory.mb=5000 -Dmapreduce.task.timeout=2400000 -Dmapreduce.map.maxattempts=8 -Dmapreduce.reduce.maxattempts=8 -Dfs.s3a.access.key=$AWS_ACCESS_KEY_ID -Dfs.s3a.secret.key=$AWS_SECRET_ACCESS_KEY"

distcp_source="hdfs://nameservice1/foo/$table/"
distcp_target="s3a://my-aws-bucket/foo/$table"

distcp_opts正是我们发现最终对我们可靠的。

现在，我们已转向EMR流程，而CDH上仅有少量剩余流程。 但是它仍然可以正常工作。 在EMR集群中，我们使用AWS s3-dist-cp命令，它比我们使用的apache版本更加强大和强大。 可能值得在您的群集上使用它并进行尝试。

Answer 2

Distcp喜欢在集群上工作，而不是在获取数据时发布（放置）数据。 如果您在其中一个群集上有kerberos，则它需要在该群集上运行。

对于您的任务，除非有VPN使EMR群集可以看到另一个VPN，否则您将无法访问。 考虑到它的权限，我怀疑是kerberos或其他身份验证，而不是连接性。