我在 Azure HDInsight 上的 webHDFS url 是什么？

Question

这里是天蓝色的新手。 我刚刚完成了一个新的 HDInsight 实例和一个常规存储帐户上的新存储实例。 我想知道我的 webHDFS url 是什么/我可以在哪里检索它以及如何访问它。

我没有使用 Azure Data Lake 存储。 （几乎我发现的所有与 azure 相关的链接都指向一些数据湖链接）

我的 hdfs-site.xml：

<property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
</property>

核心站点.xml：

<property>
  <name>fs.defaultFS</name>
  <value>wasb://<my hdinsight storage name>@<my hdinsight name>.blob.core.windows.net</value>
  <final>true</final>
</property>

Answer 1

您的基本 webHDFS 文件系统 URI 应为： webhdfs://<HOST>:<HTTP_PORT> ，其中您的 HOST 应为CLUSTERNAME.azurehdinsight.net ，默认情况下 HTTP_PORT 应为 80。

对应的HTTP URL格式如下

http://<HOST>:<HTTP_PORT>/webhdfs/v1/

Answer 2

Webhdfs 端口与 HDFS namenode 端口相同，您可以使用以下属性覆盖此端口 - dfs.namenode.http-address默认值为 50070。

https://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

当你通过curl或浏览器访问webhdfs时，你必须给出如下的端口号。

http://<HOST>:<HTTP_PORT>/webhdfs/v1/

http://<HOST>:50070/webhdfs/v1/

Answer 3

注意： Azure HDInsight 不支持 WebHDFS。

无需创建 HDInsight 群集即可使用 WebHDFS 与 ADLS 进行通信。

1. Azure 存储与 WebHDFS 不兼容。

2. Azure Data Lake Store 是一个云规模的文件系统，它与 Hadoop 分布式文件系统 (HDFS) 兼容并与 Hadoop 生态系统配合使用。 您现有的使用 WebHDFS API 的应用程序或服务可以轻松地与 ADLS 集成。

参考： WebHDFS 文件系统 API

3. ADLS Gen2 与 Hadoop 文件系统兼容并针对云规模大数据分析存储进行了优化，但与 WebHDFS 不兼容。