用于分布式 state 管理的 Google PubSub 队列

Question

我有n个工作依赖的资源。 每个来源在 Google PubSub 中都有一个单独的主题； 当源更新时，它会在相应的主题订阅中发送一条消息。 当所有源都更新时（即每个订阅中至少有一条新消息时），作业可以开始。 该作业计划使用 airflow。 DAG 从针对每个订阅的一系列并行任务开始，检查是否已发布新消息，但不知道它。 下一个任务等待所有前面的任务，并使用 XCOM 查看是否所有都包含消息。 在这种情况下，它会继续工作（它首先知道消息），否则它会停止。 通过这种方式，我仅在消息全部可用时才确认消息，使用 PubSub 作为coordinator 。 消息频率最多为一天一次或两次。

基本上我使用 PubSub 作为保持“状态”的方式。 假设我有不同的工作依赖于相同的来源。 我可以为每个工作的同一主题创建订阅，并且一切正常。

有没有更好的方法/工具/框架来做到这一点？

Answer 1

根据您拥有的消息量以及我之前的实现，我可以建议您在 Firestore 中保持状态：无服务器、经济实惠、快速......

发布消息时，触发 function 在 Firestore 中持久保存 state

然后，触发您想要的进程数，查询 Firestone 以检查所有状态是否正常，然后继续或停止。

这是我的同步模式。 不是最好的！

---

无论如何，如果您为每个进程创建订阅，它也可以工作。 消息在每个订阅中都是重复的，因此您可以独立处理它们。