访问远程集群中的HDFS

Question

目前，我有一个远程Hadoop集群。 当我尝试通过namenode访问datanode中的数据时，namenode会将我重定向到datanode。 但是，返回的datanode域名只能在该集群内部识别。 此外，我无法在客户端修改/etc/hosts 。

我可以配置namenode以使用任何IP或域重定向我吗？ 名称节点用于记录要返回的域在哪里？

Answer 1

我相信您需要的是Gateway服务器（也称为EdgeNode ）。 有几个教程在那里。

在您的特定情况下，拥有namenode的服务器也将拥有EdgeNode。

有两个特定的项目可以实现此目的：

1. 使用SOCKS代理。 通过SOCKS代理使用Hadoop？
2. 使用HTTPFS： https ：//hadoop.apache.org/docs/r2.4.1/hadoop-hdfs-httpfs/index.html