MySQL到WAN上的SQL Server的ETL机制

Question

我正在寻找有关通过MySQL将数据从MySQL Community Server 5.1.32与外部主机批量分发到内部SQL Server 05 Enterprise计算机的机制的一些反馈。 外部存储盒会在整个工作时间内（每天约100Mb）累积数据，然后需要通过WAN连接（质量尚未确定，但不会很快）在全球范围内进行国际传输，然后再进行某些BI工作。执行。 这应该只是每晚的变更集。

我对人们以前在类似情况下成功使用过的ETL机制的想法感兴趣。 SSIS似乎是一个潜在的候选人。 有人可以评论这种情况的适用性吗？ 或者，将以其他方式了解如何以节省成本的方式实现此目的。 谢谢！

Answer 1

这取决于您是否使用了从外部计算机接收到的数据。

如果您必须掌握第二天早上的计算数据，或者对网络不信任，则最好将这两个系统松耦合，并在它们之间启用一些消息队列，这样，如果晚上出现故障，例如数据库，网络链接以及任何可能使您难以恢复的事情，您可以每天早晨从一些数据开始。

如果数据检索不受严格程度限制，那么任何解决方案都是不错的方法：)

关于SSIS，这只是一个很棒的ETL框架（是的，有一个微妙的:)）。 但是我不认为它是数据传输的一部分，而是在ETL部分，当您的数据已被接收或仍在消息查询系统中等待时。

Answer 2

首先，如果要执行此操作，请使用一种好方法轻松查看自上次以来发生的变化。 每个字段都应有一个最后更新日期或一个时间戳，该记录在记录更新时会更改（不确定mysql是否具有此日期）。 这远胜于比较每个字段。

如果在两个位置都装有SQL Server，我建议您进行复制，是否可以使用SQL Server代替mySQL？ 如果没有，那么SSIS是您最好的选择。

Answer 3

就将数据从MySQL实际获取到SQL Server而言，可以使用SSIS通过多种方法导入数据。 一种方法是直接连接到您的MySQL源（通过OLEDB连接或类似工具），或者您可以每天从MySQL导出到平面文件，然后使用FTP任务将其提取。 获得数据后，SSIS可以执行所需的转换，然后再将处理后的数据加载到SQL Server。