如何使复制数据工作得更快并具有更好的性能 (Azure Synapse)

Question

一些上下文：我的 Azure Synapse 管道向 REST API 发出 GET 请求，以便以镶木地板文件格式将数据导入数据湖 (ADLSGen2)。

我期待每小时向 API 请求数据，以获取前一小时的信息。 我也考虑过将触发器设置为每半小时运行一次，以获取前30分钟的数据。

问题是：最后一个 GET 请求和复制数据调试花费了不到 20 分钟的时间。 使用的 DUI 设置为“自动”，即使我在活动设置中手动将其设置为 8，它也等于 4。

我想知道是否有任何有用的建议可以使复制数据活动更快地工作，无论成本是多少（如果您认为它相关，我真的很想了解它）。

提前致谢！

马特奥

Answer 1

您需要检查哪个部分运行缓慢。 您可以单击眼镜图标以查看复制数据的详细信息。 如果延迟位于“第一个字节的时间”或“从源读取”，则问题出在 REST API 端。 如果延迟出现在“Writing to sink”上，则问题可能出在写入数据湖上。 如果问题在 API 端，请尝试联系提供商。 另一种选择（如果适用）是使用几个复制数据活动，每个活动将复制一部分数据。 如果问题出在数据湖上，则应检查接收器端的设置。