繁体   English   中英

使用 Cloud Data Fusion 从 MySql 在 Bigquery 中追加增量数据

[英]Appending incremental data in Bigquery from MySql using Cloud Data Fusion

我想安排一个将 MySql 数据传输到 Google Bigquery 的管道,但是完整的数据被附加到 BQ 中的旧表中,我只想附加增量数据......

您需要能够“在存在时更新”原理图,而 BQ 插件目前尚不提供该原理图。 我们正在努力更新插件以支持它(打开了一个 JIRA https://issues.cask.co/browse/CDAP-15298 )。 或者,您可以在每次运行时将其写入一个单独的表,然后使用“合并”来更新主表。 打开 JIRA 以添加允许合并表的合并操作插件( https://issues.cask.co/browse/CDAP-15297

是否可以根据数据中的列计算每次导入的差异?

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM