我可以在 Azure HDInsight 中使用 WebHDFS 吗？

Question

我创建了一个 HDInisght，其中 Azure 存储作为其 HDFS。 我想知道我是否可以使用 webHDFS apis 将二进制文件上传到 HDFS。

我试过https://<HOST>:<HTTP_PORT>/webhdfs/v1/ 。 但我不确定Host和Http_port 。

同时，我检查了hdfs-site.xml发现

  <property>
    <name>dfs.webhdfs.enabled</name>
    <value>false</value>
    <final>true</final>
  </property>

我应该将值设置为True然后我可以使用它吗？

Answer 1

注意： Azure HDInsight 不支持 WebHDFS。

无需创建 HDInsight 群集即可使用 WebHDFS 与 ADLS 对话。

1. Azure 存储与 WebHDFS 不兼容。

2. Azure Data Lake Store 是与 Hadoop 分布式文件系统 (HDFS) 兼容并与 Hadoop 生态系统兼容的云级文件系统。 使用 WebHDFS API 的现有应用程序或服务可以轻松与 ADLS 集成。

参考： WebHDFS 文件系统 API

3. ADLS Gen2 与 Hadoop 文件系统兼容，并针对云规模大数据分析存储进行了优化，并且不兼容 WebHDFS。