将数据从 Azure SQL 数据库实时复制到 Synapse

Question

我在生产中有几个 Azure SQL 数据库，并希望将数据近乎实时地复制到 Synapse SQL 池。 原因是我必须从生产数据库中卸载一些分析工作并减少生产数据库的整体负载。

我目前在 ADF 中有一个带有增量表的管道和一个移动数据的翻转 window。 这很好用，但我需要让它更接近实时。

你们中的任何人有任何将数据从 Azure SQL Servert 近乎实时地移动到 Synapse SQL 池的经验吗？

有没有类似于 Cosmos HTAP 的东西？

Answer 1

实际上，没有从 Azure SQL 数据库到 Synapse SQL 池的实时数据同步工具或服务。

由于您目前在 ADF 中有一个带有增量表的管道和一个移动数据的翻转 window。 您有两种最接近实时的方式：

1. 创建计划触发器（每 5 分钟）以运行管道以近乎实时地将数据复制到 Synapse SQL 池。

2. 创建逻辑应用触发器：当一个项目被修改为监听 Azure SQL 数据库表时，当表数据被修改时，添加一个动作“Get a pipeline run”来调用你的数据工厂管道将数据复制到Synapse Z97078840A7866401BCB82池。

HTH。

Answer 2

您可以使用自定义代码实现此功能，但当需要（接近）实时性时，Azure 数据工厂并不是最佳选择。 微软宣布了 Azure Synapse Link 的计划，用于 Azure SQL 数据库，它将帮助您获得从数据库到 Synapse 的（近）实时复制。 这将非常适合您的需求。 该公告在“使用 Azure 数据和分析塑造您的未来”活动中陈述，Purview 和 Synapse 新功能 GA 于 20 年 12 月 3 日发布。

如果等待一段时间是一种选择，我建议等待微软对此的更新。 公共预览版的可用性尚未公布。 敬请关注！