使用 GCP 数据融合将数据从 MySQL 复制到 BigQuery - 出现“日期”数据类型的问题

Question

我想将 GCP Compute Engine 中保存的 Mysql 表复制到 GC BigQuery。 我参考了这份文件： https://cloud.google.com/data-fusion/docs/tutorials/replicating-data/mysql-to-bigquery 。 所以我决定使用 GCP Data Fusion 来完成这项工作。

一切正常，数据在 Bigquery 中复制。 所以我正在测试这个复制的不同数据类型支持。

我在此复制管道中遇到了问题，因此每当我尝试为数据融合复制放置“日期”数据类型列时，整个表（包含“日期”列）都不会显示在 BigQuery 中

它使用与源相同的架构创建表，并且 BigQuery 中也存在“日期”数据类型，并且我使用了与 BigQuery 支持的相同日期格式。

我还查看了数据融合日志，它显示管道正在将数据完美地加载到 BigQuery 中，还捕获了从源 Mysql 数据库添加到 Mysql 表中的新行以及插入和更新。 但不知何故，行没有进入 Bigquery。

有没有人使用带有“日期”列数据类型的数据融合复制？ 这是 BigQuery 或 Data Fusion 的问题吗？ 我是否需要在 BigQuery 中提供任何手动设置？ 任何人都可以为此提供意见吗？

Answer 1

我将此问题标记为已解决。 由于问题出在数据融合上，最新版本 6.4.1现在在 BigQuery 中复制时支持 Datatime 数据类型。 我现在正在接收正确的日期和日期时间数据。

谢谢大家的帮助：）

Answer 2

我使用了以下架构，其中包含 Date 字段。

create table tutorials_tbl(tutorial_id INT NOT NULL AUTO_INCREMENT, tutorial_title VARCHAR(100) NOT NULL, tutorial_author VARCHAR(40) NOT NULL, submission_date DATE, PRIMARY KEY ( tutorial_id ));

当我运行复制管道时，我看到 BQ 表是使用以下模式创建的：

我还看到了表中的事件：

你能分享输入表模式吗？ 您还可以检查 BQ 表下的 Job History 和 Query History 选项卡以查看是否有任何错误。