如何设计实时股票价格的pub / sub架构

Question

我有一个外部系统，可以发布实时财务数据（例如世界各地的交易所的股票报价和价格）。

这个外部系统对每个帐户连接的库存数量有一些限制，因为我们有许多应用程序需要使用这些实时流数据，因此我们不希望每个应用程序连接到该外部系统并自行管理容量，因此我们想设计一个单独的系统来消耗所有股票，然后发布到一些消息队列（例如kafka或pulsar），然后下游应用程序可以使用kafka主题。

问题是我们如何设计主题，股票数量约为1000万，但每个应用程序只对它们的子集感兴趣，子集大小可以是小的还是大的，不同的子集可以共享相同的股票。

我能想到的是动态创建一些流媒体工作（例如kafka流媒体或单独的flink工作进行预聚合，从所有主题收集每个消费者感兴趣的股票，然后发布给每个消费者的另一个主题），在此每个消费者都有自己的主题，只有感兴趣的股票，但肯定会带来消息传输时间，重复消息和延迟的开销，此外，如果有越来越多的消费者，容量也可能是一个问题。

我不知道有没有更好的方法来达到我的要求，请指教，谢谢。