Dataprep - Append 数据到 BigQuery 表

Question

我正在使用 GCP 的 dataprep 加入几个具有相同列结构的 csv 文件，处理一些数据，然后写入 BigQuery 数据库。

我必须在 BigQuery 中记录这些数据。 我可以将 dataprep 和 append 中的这些数据包含在 BigQuery 表中吗？

Answer 1

是的，有可能将数据或 append 数据截断到 BigQuery 表。 在 BigQuery 表选择中的 output 步骤 DataPrep 步骤中，您可以设置将附加到表中。

Answer 2

是的，您可以将来自 DataPrep 和 append 的数据包含在 BigQuery 表中。

在运行作业之前，在“在 DataFlow 上运行作业”部分：

1. 单击该操作，因为您正在使用 BigQuery 作为 output，应该看起来像“Create-BigQuery”
2. 在下 windows 选择你的 output 表
3. 在左侧面板中 select “每次运行都附加到此表”
4. 点击更新

现在，当您运行作业时，这将 append 您的数据。

以下文档可能很有用。

Answer 3

我的困难在于“连接您的数据”步骤。 我有很多带有前缀events_的表，我想要的比所有的都多。 自然，我的直觉是参数化执行该events_*但我在 bigquery 表摄取中没有此选项（连接您的数据步骤）。