删除列并更新包含流数据的 BigQuery 表

Question

我有一个包含流数据的 BigQuery 表。 正在使用数据流作业填充该表。 最近我通过删除下面显示的两列的Column_B更新了我的数据流管道：

| Column_A | Column_B  |
|----------|-----------|
| Anna     | Chicago   |
| John     | Houston   |

---

但是现在我更新后的表包含与以前相同数量的列，但是用于Column_B的新数据替换为null 。 这是我更新的管道的示例：

| Column_A | Column_B  |
|----------|-----------|
| Anna     | Chicago   |
| John     | Houston   |
| Michael  | null      |
| Cecilia  | null      |
| Ronald   | null      |

我的表按时间戳分区。 我想知道是否有办法完全删除Column_B并寻找有关如何（如果我应该）这样做的建议。 另外，这将如何影响我的桌子。

提前致谢。

Answer 1

为简单起见，假设您当前的表被命名为table_name 。

STEP 1. 在查询设置select以下选项：

Set a destination table for query results

步骤 2. 运行以下查询将结果集保存为表：

SELECT *
EXCEPT(Column_B)
FROM table_name

在步骤 2 中创建的表被命名为table_name_modified 。 该表将作为您数据的备份。

第 3 步。删除table_name 。 删除table_name后，将table_name table_name_modified

现在您已更新表以排除 Column_B Dataflow 将不再填充空值。