如何使用 Integration Runtime 提高 Azure 数据工厂管道的性能

Question

我想创造我们管道的性能。

管道当前从集成运行时运行。

我在我们的源（SQL 数据库）上保存的表上运行单个复制活动。 表格包含将近一百万行，大约有 15 列。

目前，将表从 Source 复制到 Sink (ADLS) 所需的时间约为 20 分钟。

有没有办法增加 DIU 来提高性能？

我目前的复印设置如下：

我在想，如果我对设置进行一些更改，请参见下文，我会提高性能，但我以前从未尝试过设置，欢迎提出任何建议。

管道运行的活动详细信息如下：

我的链接服务是 Azure Synapse Link 服务，见下图：

Answer 1

从 output window 可以看出，几乎所有的等待时间都是“Time to first byte”，也就是说你的 SQL 服务器回复慢了。 少于 90K 行需要大约 22 分钟。 因此，ADF 端的更改无济于事。 如果您的查询是一个简单的“select * from table”，那么可能您的 SQL 服务器资源不足。 您可以在 Azure 的数据库门户中查看。尝试添加更多资源并查看复制时间是否有所改善。 如果这是来自视图的查询或其他复杂的查询，则可能需要一些改进（索引、改进代码）。 您可以通过将查询结果写入 SQL 数据库中的一个表来测试这一点，将该表用作数据工厂源，看看这是否会缩短复制时间。

Answer 2

快查一下，Azure SQL和storage account是不是在同一个区域？ 我还看到您的复制活动设置为 parraleism 为 1，您可以玩数字，看看是否有帮助。

如何设置并行度请阅读此处： https://learn.microsoft.com/en-us/azure/data-factory/copy-activity-performance-features#parallel-copy

请看下面的快照