将数据集参数添加到列中，以便稍后使用DataPrep在BigQuery中使用它们

Question

我正在通过Google DataPrep从Google云端存储（GCS）导入多个文件，并将结果存储在Google BigQuery的表格中。 GCS上的结构如下所示：

//source/user/me/datasets/{month}/2017-01-31-file.csv
//source/user/me/datasets/{month}/2017-02-28-file.csv
//source/user/me/datasets/{month}/2017-03-31-file.csv

我们可以使用本页概述的参数创建数据集。 这一切都很好，我已经能够正确导入它。

但是，在这个BigQuery表（输出）中，我无法仅提取具有例如参数month行。

因此，我如何使用DataPrep将这些数据集参数（此处： {month} ）添加到我的BigQuery表中？

Answer 1

目前无法访问流中的数据源位置或参数匹配值。 只有数据集中的数据可供您使用。 （ SOURCEROWNUMBER()除外）

部分解决方案

我用来模拟参数插入到最终表中的一种方法是按参数导入多个数据集，然后在将变换运行到最终表之前将它们联合起来。

对于每个已知参数搜索数据集，请使用每个数据集使用该参数填充列的配方，然后将每个参数的结果合并。

显然，这只是如此可扩展，即如果您知道将匹配的参数值集合，它就可以工作。 一旦你在源文件中达到时间戳的粒度，这是不可行的。

在此示例中，只有年份值是已过滤的参数。

---

更长的解决方案 （旁白）

我最终选择的替代方法是使用Dataprep定义数据流作业，将它们用作数据流模板，然后运行运行数据流作业（而不是dataprep）的编排功能，并通过API修改输入和输出的参数。 然后有一个转换BigQuery Job执行了roundup append函数。

值得的是，如果流量相当稳定，但不是特别的; 一切都取决于你的规模。

Answer 2

虽然在发布时原始答案是正确的，但上周发布了一个更新，增加了许多未在发行说明中具体解决的功能 - 包括此问题的另一个解决方案。

除了SOURCEROWNUMBER() （现在也可以表示为$sourcerownumber ）之外，现在还有一个名为$filepath $sourcerownumber的源元数据引用，如您所料，它将本地路径存储在云存储中的文件中。

这里有一些注意事项，例如它不返回BigQuery源的值，如果您使用pivot ， join或unnest则不可用。 。 。 但在您的方案中，您可以轻松地将其添加到列中，并使用它进行任何所需的匹配或删除。

注意：如果您的数据源示例是在此功能之前创建的，则需要创建一个新示例以便在界面中查看它（而不仅仅是NULL值）。

有关这些元数据字段的完整说明，请访问： https ： //cloud.google.com/dataprep/docs/html/Source-Metadata-References_136155148