将数据从 Oracle 镜像到另一个数据库的通用方法

Question

我们有源 Oracle 数据库，其中有很多表（比如说 100 个），我们需要将它们镜像到目标数据库。 所以我们需要定期将数据增量复制到另一个数据库表中。 目标数据库目前是 Oracle，但在不久的将来可能会更改为不同的数据库技术。

因此，目前我们可以创建一个 PL/SQL 过程，该过程将从 Oracle 元数据中为每个表（假设源表和目标表具有完全相同的属性）动态生成 DML（插入、更新或合并语句）。 但是我们宁愿创建一些独立于数据库技术的解决方案，这样当我们将目标数据库更改为另一个（例如 MS SQL 或 Postgres）时，我们就不需要更改数据镜像的整个逻辑。

有没有人建议如何以不同的方式进行操作（最好在 java 中）？

感谢您的每一个建议。

Answer 1

您遇到的问题称为 CDC - 连续数据捕获。 在 Oracle 的情况下，这很复杂，因为 Oracle 通常为此要钱。 所以你可以使用：

• PL/SQL 或 Java 并使用 SQL 增量检测数据变化。 IT 需要大量工作，而且性能很差。

• 这些是基于 Oracle 触发器的工具

• 使用可以解析 Oracle 存档日志内容的工具。 这些是商业产品：GoldenGate（来自 Oracle）和 Shareples（Dell/EMC/dunnu）。 GoldenDate 还包含 Java 技术 XStreams，它允许您将 java 访问者注入数据 stream。 对于技术还支持将数据更改发送到 Kafka stream

• 有很多工具，如 Debezium、Informatica、Tibco，它们不能解析归档日志，而是使用 Oracle 的内部工具 LogMiner。 这些工具通常不能很好地扩展，并且无法复制更高的数据量。

这里有一篇相当的文章作为总结。 如果您有钱，请选择 GoldenGate 或 Shareplex。 如果你做 Debezium 或任何其他基于 Logminer 的 Java CDC 项目。