[英]Near real time streaming data from 100s customer to Google Pub/Sub to GCS
我从 100 多个客户那里获得了近乎实时的数据。 我需要将此数据存储在为每个客户创建的 Google Cloud Storage 存储桶中，即 /gcs/customer_id/yy/mm/day/hhhh/
我的数据在 Avro 中。 我想我可以使用Pub/Sub to Avro Files on Cloud Storage template 。 但是，我不确定 Google Pub/Sub 是否可以接受来自多个客户的数据。 感谢这里的任何帮助，谢谢！
该模板非常简单：它获取 PubSub 的所有数据并将它们存储在 GCS 上的 avro 文件中。
但是，这是一个很好的起点，您可以在此基础上进行改进，为每个客户添加一个拆分，以及您想要的文件路径。
使用 Dataflow 和 Apache Beam (Python) 将 Pub/Sub 中的流数据发布到 BigQuery
[英]Issues streaming data from Pub/Sub into BigQuery using Dataflow and Apache Beam (Python)
来自快照的 Pub/Sub 消息未在 Dataflow 流式传输管道中处理
[英]Pub/Sub messages from snapshot not processed in a Dataflow streaming pipeline
使用 Ansible 将数据从 Google Compute Engine 发送到 Google Pub/Sub
[英]Send data from Google Compute Engine to Google Pub/Sub using Ansible
无法获取 Cloud Function 以从 Google Cloud IoT Pub/Sub 主题获取数据并将其存储在 Firestore 数据库中
[英]Cannot get a Cloud Function to fetch data from Google Cloud IoT Pub/Sub topic and store it in a Firestore Database
如何处理 Google Dataflow 中缺少来自 Pub/Sub 的消息
[英]How to handle lack of messages from Pub/Sub in Google Dataflow
如何从 Firebase Cloud Function 在 Google Pub/Sub 中发布消息？
[英]How to publish message in Google Pub/Sub from Firebase Cloud Function?
如果我使用 Dataproc，它如何处理从 Apache Hadoop 和 Spark 到 Dataproc 的实时流数据？
[英]If I use Dataproc, how does it process real-time streaming data from Apache Hadoop and Spark to Dataproc?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
