使用 Polybase 在 SQL Server 2016 中创建外部表的问题

Question

创建外部表时显示错误。 谁能告诉我 core-site.xml 或其他文件中的 Hadoop 设置是否有问题？ 端口 9000 对于 SQL 服务器端的设置是否正确，或者我应该使用另一个？

一般架构概述：

1. SQL 服务器和 Hadoop 在其他 Windows 服务器上运行。
2. Ping 检查后，两台服务器都可以看到对方。
3. 在 SQL 服务器中，TCP 传输设置和防火墙设置正确。

错误

消息 105036，级别 16，State 1，第 33 行外部数据源信息由于内部错误而无法检索到 'JNI.JavaExceptionCheckException' 类型的异常被抛出。：错误 [Call From xxxxxxxxxxxx/00.000.000.000 到 xxxxxx.xx。 dev.net:9000 连接异常失败：java.net.ConnectException：连接被拒绝：没有更多信息； 有关详细信息，请参阅：>http://wiki.apache.org/hadoop/ConnectionRefused] 访问外部文件时发生..

Hadoop core-site.xml文件

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property> 
            <name>hadoop.security.authorization</name> 
            <value>false</value> 
    </property> 
</configuration>

SQL 服务器中的外部源设置。

CREATE EXTERNAL DATA SOURCE MyHadoop
WITH
  (  LOCATION = 'hdfs://00.000.000.000:9000' 
    ,RESOURCE_MANAGER_LOCATION = '00.000.000.000:9000'
    ,TYPE = HADOOP
  ) ;

SQL 服务器中的文件格式。

CREATE EXTERNAL FILE FORMAT csvformat 
WITH ( 
    FORMAT_TYPE = DELIMITEDTEXT, 
    FORMAT_OPTIONS (FIELD_TERMINATOR =';') 
);

SQL 服务器中的外部表（运行此代码后出现错误）

CREATE EXTERNAL TABLE [EX_SQLPolybase]
(
    id [int],
    [Name] varchar(50)
   )
WITH 
(
     DATA_SOURCE = [MyHadoop]
    ,LOCATION = N'[Test].dbo.Test_tbl'
    ,FILE_FORMAT = csvformat 
)

Answer 1

你需要从头开始，有很多事情需要修改：

1. 检查 Hadoop 的 Polybase 配置和安全性： https://docs.microsoft.com/en-us/sql/relational-databases/polybase/polybase-configuration
2. 确保通信没有阻塞，您可以使用 powercat 如下： powercat -c 00.000.000.000 -p 8020 -t 1 -Verbose -d
3. 您是否配置了“hadoop 连接”服务器参数？
4. 修改HDFS相关文件后是否重启过SQL服务器服务？
5. 您是否在 SQL 服务器中创建了主密钥加密？
6. 您是否尝试过在不指定资源管理器位置的情况下创建外部数据源？
7. 外部表规范错误，LOCATION是HDFS中的Unix路径类似于：LOCATION='/user/pdw_user/input'
8. 您是否在 Linux 中创建了可以访问“位置”路径的用户“pdw_user”？

详细解释和附加信息可以在这里找到： https://bpbonline.com/products/hands-on-data-virtualization-with-polybase