云数据融合管道中的 SCD 类型 2 实现

Question

我需要在我的数据融合管道中应用 SCD2，我的源数据是 GCS，目标是 BigQuery。 我已经创建了管道并能够将数据加载到目标 BigQery 中，所以现在我想将合并和更新过程作为 SCD2 的一部分来实现。 你能帮我吗，因为我是谷歌云数据融合的新手。

Answer 1

@phaneendra 的方法是一种可能的解决方案。 无论如何，Data Fusion 旨在以无代码的可视化方式使用。 如果您想利用它的潜力，我建议您使用 Wrangler 进行数据转换。 在 Google 的文档中，您可以找到有关如何使用它来清理、转换和处理客户数据的有趣且快速的教程。 然后，您只需像现在一样使用BigQuery 插件接收转换后的数据。