有关执行任务的ETL工具的建议

Question

我有一个python脚本，可提取一些数据并将其保存到csv文件中。 现在，我需要将此文件加载到Azure SQL DB。 有人可以建议哪些ETL工具适合于自动化并进行比较吗？

Answer 1

您可以使用可以在命令行执行的BCP（免费的MS工具），也可以使用非常强大的错误处理，安全性，将程序包存储在SQL Server数据库中以及许多其他强大而有用的功能，使用SSIS（SQL Server集成服务）是大多数版本的SQL Server附带的免费产品。 使用SSIS需要简短的学习过程。

Answer 2

有多种提取转换加载工具。 您没有提及数据集的大小或任何频率，因此我将其视为中等大小的数据集和批处理加载。

提到SSIS是为了与SQL Server进行数据集成。 它确实有它的怪癖，因此是学习曲线。

Talend是一个易于使用的开源ETL工具（在了解您的ETL概念的范围内）。 您可以创建作业，并且有日志记录和错误处理。

Pentaho是另一个开源的GUI ETL工具。 提供常规功能，并具有不错的预建组件库，例如MongoDB Input和Merge / Join。 它还具有创建和运行作业的能力。

有几个著名的公司，例如IBM，Informatica和SAP。 所有人都将执行这些功能，但是根据您的标准来进行花销和学习，似乎有点像开车去买牛奶和鸡蛋的罐子。

今天有太多的选择，可能有助于您进行一些比较。 ETLTools.net有一些很好的信息。