使用 Azure 数据工厂 V2 将 Excel 工作簿的多个工作表并行加载到 SQL 数据库中

Question

有没有办法使用 ADF V2 将工作表批量加载到 SQL 表中？

通过使用 2 个链接服务（Blob 和 SQL DB）制作 10 个数据集（Excel 和 SQL 表），我能够加载 5 张数据。 即使并行执行所有数据活动，性能也不好。

如果我添加更多要加载的工作表，则性能会显着降低。 我认为这是因为相同的 excel 工作簿已被消耗，考虑到它的大小（50 MB），打开和阅读它需要时间并成为瓶颈。

SSIS 只能使用 Foreach 循环按顺序执行（取决于目标表的动态设置方式）

必须有更好的方法来加载数据，而不是创建 N*2 个数据集（工作表源和 Resp SQL 表）。

-谢谢

Answer 1

正如@Mark 所发布的那样-“您可以在数据集“表格”属性中单击“编辑”并参数化该属性。然后您可以使用管道“foreach”来循环表格名称”

Answer 2

您可以分两步执行此操作：

• 首先将 excel 电子表格导出到 csv 文件，您可以将它们组合成一个文件。
• 然后使用 Bulk Insert 将数据加载到数据库中

请参阅： https://docs.microsoft.com/en-us/sql/t-sql/statements/bulk-insert-transact-sql?view=sql-server-ver15