azue 突触从 Azure Sql 复制到 Datalake 表

Question

我想使用突触分析将数据从 azure Sql Tabel 复制到 Datalake 存储帐户表，在 Datalake 表中我想存储表名和增量负载的最大 ID，这是可能的

Answer 1

如果您的需求只是将数据从 Azure SQL 数据库传输到数据湖存储 (ADLS) 帐户并且不需要大数据分析，您可以简单地使用 Azure 数据工厂 (ADF) 或 Synapse 管道中的Copy activity 。

ADF 还允许您在使用data flow activity将数据存储到目标之前对数据执行所需的转换。

请参考此官方教程将数据从 SQL 服务器数据库复制到 Azure Blob 存储。

现在来到增量加载，ADF 和 Synapse 管道都为它提供完整的内置支持。 您需要将 select 列作为源表中的Watermark column 。

源数据存储中的水印列，可用于对每次运行的新记录或更新记录进行切片。 通常，此选定列中的数据（例如，last_modify_time 或 ID）会在创建或更新行时不断增加。 此列中的最大值用作水印。

Microsoft 提供了一个完整的分步教程， 用于使用 Azure 门户将数据从 Azure SQL 数据库增量加载到 Azure Blob 存储，您可以按照您的用例进行适当的更改并遵循并实施。

除了水印技术之外，您还可以选择其他方法来管理增量负载。 在这里检查。