使用 Cloud Functions 从 API 检索流数据

Question

我想从 Twitter API 到 Cloud Storage 和 BigQuery 的 stream 实时数据。 我必须使用 Cloud Functions 摄取和转换数据，但问题是我不知道如何从 Twitter API 提取数据并将其摄取到云端。

我知道我还必须创建一个调度程序和一个发布/订阅主题来触发 Cloud Functions。 我已经创建了一个 Twitter 开发者帐户。 主要问题实际上是将数据流式传输到云存储中。

我对 GCP 和流数据真的很陌生，所以很高兴看到对此有明确的解释。 非常感谢你：）

Answer 1

您必须首先设计您的解决方案。 你想达到什么目的？ 流式处理还是微批处理？

如果是流式传输，您必须使用流式传输 API 或 Twitter。简而言之，您启动连接并保持运行（并连接）接收数据。

批量的话，要查询一个API，下载一组短信。 在查询-响应模式中。

---

话虽这么说，如何使用谷歌云实现它。 流式传输是有问题的，因为您必须始终保持连接。 对于无服务器产品，您会担心超时（Cloud Functions V1 为 9 分钟，Cloud Run 和 Cloud Functions V2 为 60 分钟）。

然而，您可以想象定期调用您的无服务器产品，保持连接一段时间（比如 1 小时）并安排每小时触发一次。

或者使用 VM 来执行此操作（或 K8S 容器上的 pod）

---

您还可以考虑每分钟调用您的 Cloud Functions 并获取过去几分钟的所有消息的微批处理。

---

最后，一切都取决于您的用例。 您期望的实际时间是多少？ 你想使用哪个产品？