突触管道从 Datalakes 复制到 DW 错误

Question

我正在尝试将数据导入 Azure 专用 SQL 池，来自数据湖的 OnPremis DB SQL 服务器。 OnPremise 中的一些表是多个表。

仅当我 select “启用暂存”选项和 select 我们现有的数据湖容器时，才能从数据湖导入数据。

我的问题是，如果导入文件已经在 Data Lakes 中，为什么我们需要 select 一个“启用暂存”选项以将其导入 Azure 专用 SQL 池 (DW)？

Answer 1

要使用 polybase 直接复制到专用的 SQL 池中，您的数据湖必须满足一些条件。 请查看此链接： https://learn.microsoft.com/en-us/azure/data-factory/connector-azure-sql-data-warehouse?tabs=data-factory#use-polybase-to-load-data -into-azure-synapse-analytics

Answer 2

在 Azure 门户 go 到 postgresql 数据库 select 身份验证并设置活动目录管理员。

您可以指定一个 Azure AD 组而不是单个用户来拥有多个管理员。

连接到 postgresql：

1.登录Azure订阅。 2.使用以下命令获取 postgresql 服务器的访问令牌：

az account get-access-token --resource https://ossrdbms-aad.database.windows.net

3.使用该令牌作为登录postgresql服务器的密码。

创建用户

CREATE USER "user1@yourtenant.onmicrosoft.com" IN ROLE azure_ad_user;

令牌验证：

• Token由Azure AD签名，未被篡改
• 令牌由 Azure AD 为与服务器关联的租户颁发
• 令牌尚未过期
• 令牌用于 Azure 数据库的 PostgreSQL 资源（而不是另一个 Azure 资源）

参考链接： 使用 Azure Active Directory - Azure 数据库 PostgreSQL - 单服务器 | 微软学习

Answer 3

要将数据从 Data Lake 复制到突触专用池，我遵循以下过程：

我创建了突触专用池链接服务：

我为数据湖存储 Gen2 创建了链接服务

我创建了管道并通过创建 Data lake Storage Gen2 分隔文本数据集作为源来执行复制活动：

突触专用池数据集作为源并启用自动创建表

在设置页面启用暂存选择 Azure Data Lake Storage Gen2 链接服务。

如果您的源数据与 PolyBase 不兼容，则此启用暂存选项适用。

该存储用于在使用 PolyBase 将数据加载到 Azure Synapse Analytics 之前暂存数据。 复制完成后，会自动清理Azure Data Lake Storage Gen2中的临时数据。

我调试管道，它运行成功

它对我有用，请从你这边检查。