用于发布事件的 Azure 服务总线

Question

我们正在制作一个多租户系统，该系统应该会突然生成大量事件（尤其是在新客户登机期间），并且正在寻找一种将事件源与事件处理程序分离的方法。 起初，带有多个订阅的 azure service-bus 似乎是最好的情况，但阅读限制似乎在大小上受到限制。 （例如每个主题几 GB），甚至队列在我看来对于我们的要求来说仍然很小。 (约80GB)

不要误会我的意思，我们不打算在正常操作期间（也就是 99% 的时间）摄取 100GB 的数据。 然而，考虑到这是多租户，租户的数量（以及数据/事件）必然会增长。 我们更喜欢使用单个服务总线/队列，以便在我们自己的所有服务器之间分散所有租户的负载。 突发事件的性质是单个租户可以产生大量突发事件，而其他租户没有做太多事情； 所以为每个租户创建一个队列； 让我们的每台服务器监听几个租户队列并不是真正利用我们的硬件。 让所有服务器监听所有（许多）队列可能也不是负载平衡的好方法。

所以我们最重要的要求是：

• 永远不会错过任何输入。
• 将负载均匀分布在可变数量的服务器上。
  （理想情况下将根据队列的大小动态缩放。）

但是我们可以忍受以下缺点：

• 在我们处理完所有内容之前需要一些时间（几天...）
• 按实际使用的 GB 付费（与为预订付费相比）
• 当您放入大量数据时，它会变慢。

这可以通过 Azure 服务总线/队列来完成吗？
或者任何其他 Azure 存储系统？
还是我们需要完全关注其他东西？

Answer 1

您可以利用 Azure 事件网格来解决满足您的业务需求。 您可以将来自不同租户的事件发送到一个事件网格主题。 事件网格主题可以由多个事件订阅订阅，每个订阅都配置有将处理事件的不同端点。 终结点可以是 Azure 函数，它将通过负载均匀分布来处理来自不同租户的事件。

您可以使用事件网格订阅的过滤器来过滤事件并分配负载。

Azure 函数使用扇出模式。 因此，负载将由函数应用程序自动处理，并且只有在事件网格中有事件时才会计算成本。

Answer 2

永远无法保证编排媒介的完整性在 100% 的时间是可信的。 与其说选择哪种编排媒介，不如说是设计系统的各个部分，如果出现问题，系统可以在恢复时继续可用而不会丢失数据。

您可以考虑不同的方法来确保永远不会丢失输入。 例如，作为接受输入的过程的一部分，将接收到的输入持久化到接近线性可扩展的存储中，例如blob 存储，并将一条小消息放置在 Azure 服务总线命名空间中，仅包含消息 ID（事务中的这两个操作）。 然后使用另一个可扩展单元（例如 azure 逻辑应用程序或函数应用程序）将完整的有效负载放入另一个 azure 服务总线命名空间。 这样，即使第二个命名空间的大小达到最大值，第一个命名空间也会继续收集新输入，因为第一个命名空间的消息中的数据非常小。 如果这还不够可扩展，那么还有许多其他方法可以考虑所有优点和缺点。