如何将现有的 PubSub 订阅与 Google 提供的 PubSub 结合使用到 BigQuery 数据流模板

Question

我正在尝试使用谷歌提供的模板PubSub to BigQuery设置数据流作业。 我看到一个用于指定 Cloud Pub/Sub 输入主题的选项，但我没有看到任何用于在 GCP 控制台 UI 中指定 Pub/Sub 输入订阅的选项。

如果我提供主题，作业会自动创建一个订阅以读取来自所提供主题的消息。 这样做的问题是，在数据流作业启动后，作业只会看到发布到主题的消息。 之前针对同一主题发布的任何内容都将被忽略。

我的工作中没有任何复杂的转换要做。 所以谷歌提供的模板对我来说开箱即用。 但是无法指定我自己的订阅令我很困扰。 出于这个原因，我不想设置自定义作业管道。 有人知道这是否有解决方法吗？

Answer 1

目前不支持。 但是，它是一个很好的用例，并且已经在Google Cloud Team的关注之下。

如果您可以通过bookman@google.com向我发送电子邮件，那么我一定会及时通知您有关开发的信息。

感谢反馈，

科林

Answer 2

作为更新，现在有一个单独的 BigQuery PubSub 订阅。

https://cloud.google.com/dataflow/docs/guides/templates/provided-streaming#pubsub-subscription-to-bigquery

gcloud dataflow jobs run $jobname \
  --project=$project \
  --disable-public-ips \
  --gcs-location gs://dataflow-templates-$location/latest/PubSub_Subscription_to_BigQuery \
  --worker-machine-type n1-standard-1 \
  --region $location \
  --staging-location gs://$bucket/pss-to-bq \
  --parameters inputSubscription=projects/$project/subscriptions/$subscription,outputTableSpec=$dataset.$table