将数据从 postgres 导出到数据湖 [关闭]

Question

关闭。 这个问题是基于意见的。 它目前不接受答案。 了解更多。

---

想改进这个问题？ 更新问题，以便可以通过编辑这篇文章用事实和引用来回答它。

3 小时前关闭。

所以我有一个用例，我需要从生产 postgres 数据库中获取一个大表并将数据导出到数据湖中。 这张表有数百 GB，因为它是一个生产数据库，我需要小心地导出数据。

哪种方法是最好的？

Answer 1

您可以通过实施一种称为变更数据捕获 (CDC) 的技术来收集新记录。 Debezium是一个实现变更数据捕获的工具。 它有一个用于 PostgreSQL 的连接器。

流程将从 Debezium 到 Kafka，然后到您的数据湖。