Azure数据工厂配置单元中的HDInsight创建外部表…位置：方案的无文件系统：adl

Question

我有一个带有HD Insight Pipeline的数据工厂管道，该管道正在尝试访问Azure Data Lake目录。

"type": "HDInsightHive",
            "typeProperties": {
                "scriptPath": "mpp-hive-scripts/parse_log.q",
                "scriptLinkedService": "AzureStorageLinkedService",
                "defines": {
                    "inputtable": "adl://mppmetering.azuredatalakestore.net/hour=23",
                    "outputtable": "wasb://mpp-metering-hive-output@mppmetering.blob.core.windows.net/output/"
                }
            },

运行此管道时出现以下错误：

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: java.io.IOException No FileSystem for scheme: ad

在使用以下规范访问Azure Blob存储的管道中，此方法运行良好：

"type": "HDInsightHive",
            "typeProperties": {
                "scriptPath": "mpp-hive-scripts/parse_log.q",
                "scriptLinkedService": "AzureStorageLinkedService",
                "defines": {
                    "inputtable": "wasb://mpp-metering-live@mppmetering.blob.core.windows.net/hour=23",
                    "outputtable": "wasb://mpp-metering-hive-output@mppmetering.blob.core.windows.net/output/"
                }
            },

任何帮助，将不胜感激。 js

Answer 1

当前，Azure Data Factory不支持在Hive脚本中引用ADL存储。 唯一受支持的存储是Blob存储（wasb）。 这就是您看到错误的原因。 您需要在“定义”部分中使用Blob存储（wasb链接）。 如果打算将数据放置到ADL存储中，则可以使用ADF中的“复制”活动将数据从Blob存储移动到ADL存储中。