将增量从一个数据库复制到另一个数据库的最佳策略

Question

我有一个带有表A的交易数据库TD。我还有一个带有表B的报表数据库RD。在列和数据类型方面，表B与表A完全相似。

我需要将表A复制到表B中 ：

有关表A的详细信息：1）表A是一个事务表，每天都会添加新的事务。 2）另外，表A每天都有对现有交易的更新，其中有一个称为updatedate的列，该列在交易有任何更新时会进行更新。

我遵循的方法：我创建了一个SSIS包，第一次将数据从Transaction Database复制到Reporting Database，在表B中，我创建了一个名为RDUpdateddate的新列，以插入每条记录的更新时间。

我创建了另一个SSIS包，将其设置为每晚运行的SqlServerJob。 它获取在RDUpdateddate之后运行的所有事务，并将它们复制到登台表。 然后，我使用存储过程来插入和更新表B。

尽管此方法有效，但我想知道SSIS包本身中是否有更有效的方法来完成所有操作

Answer 1

我通常在这种情况下要做的是这样的：

如果我很了解自己在做什么，那么如果不更改在表B中创建的RDUpdateddate字段，就无法确定寄存器是否发生更改，但是如果您要更改它，我真的不认为这是个好主意，可以在每个表中使用哈希字段，只需将其添加到表中的查询中即可，而不是在表中进行固定修改，每次执行包时都必须对其进行更新 。

之后，连接具有表A的左表以获取寄存器是新的还是旧的，您可以通过使用表B的一个字段来识别出该字段，如果该字段为null则因为该字段不存在。

在条件拆分中，您应该使用表B的列来了解是否已知，并且最好使用方法来更新它（如果已存在）。

编辑：

为了能够比较两个表，您可以在表A中创建如下查询：

SELECT id, field1, field2, CHECKSUM(field1, field2) HASH_TOTAL FROM Table_A

表B中的查询如下：

SELECT id, field1, field2, CHECKSUM(field1, field2) HASH_TOTAL FROM Table_B

然后在条件拆分中评估表B中的值是否相等，不同或不存在。

---

希望对您有所帮助。