有没有办法将 JSON 模式定义转换为大查询模式定义？

Question

来自https://cloud.google.com/bigquery/docs/schemas的架构定义文件看起来像

[
  {
    "name": string,
    "type": string,
    "mode": string,
    "fields": [
      {
         object (TableFieldSchema)
      }
    ],
    "description": string,
    "policyTags": {
      "names": [
        string
      ]
    },
    "maxLength": string,
    "precision": string,
    "scale": string,
    "collation": string,
    "defaultValueExpression": string
  },
  {
    "name": string,
    "type": string,
    ...
  }
]

是否有任何工具/产品可以获取https://json-schema.org文件，并将其转换为 Big Query 喜欢的形式？

Answer 1

您可以使用指向文件的外部表链接从文件（例如，存储在同一 GCP 项目中的存储桶中）检测 json 架构。 您文件中的数据将打印到 Bigquery 中。 （你也可以使用命令行，我从不使用它但它也存在）

csv 中的示例（json 也是可能的）：创建或替换外部表projectGCP.DatasetsGCP.TableGCP OPTIONS ( format = 'CSV', uris = ['gs://nameofmybucket/*pattern_i_want_tobe_detect_inthe_namefile.csv'] )

之后，您可以 go 到之前创建的表并获取表的 Bigquery 架构。

这里有更多信息如何做到这一点（您可以提供内联架构（在命令行上），或者您可以提供包含架构定义的 JSON 文件，这也是可能的）： https://cloud.google.com/bigquery/文档/外部表定义