Faust 表查找性能

Question

我正在尝试对到达 Kafka 主题（例如“数据主题”）的消息执行查找。 查找源是另一个 Kafka 主题（比如“查找主题”）。 为了使用 faust 做到这一点，我使用 lookuptopic 创建了一个表，并创建了一个代理来用新消息更新这个表。 在同一个应用程序中，我创建了另一个代理来执行查找（基于公共 ID 属性）。 查找表中只有 1000 条记录，性能有点慢——每条记录 8 毫秒，相当于每秒 125 条记录。 我只是想验证我是否以正确的方式进行操作（抱歉，我无法阅读完整的 faust 文档）。

这是代码

import faust,time
from faust import current_event

app = faust.App(
    'lookup_table_v1',
    broker='kafka://localhost:9092',
    topic_partitions=4,store='rocksdb://'
)

class lookupSchema(faust.Record):
    id: str
    uuid: str

class tableSchema(faust.Record):
    uuid: str

class dataSchema(faust.Record):
    id: str


lookup_topic = app.topic('lookuptopic', value_type=lookupSchema)
data_topic = app.topic('datatopic', value_type=dataSchema)

lookup_table = app.Table('lookup_table')


# Agent to Update Lookup Table
@app.agent(lookup_topic)
async def count_lookup_table(lookup_stream):
    async for record in lookup_stream:
        lookup_table[record.id] = tableSchema.loads({"uuid":record.uuid}) 


# Agent to Perform Lookups for Data arriving in Data Topic
@app.agent(data_topic)
async def perform_lookup(data_stream):
  async for data in data_stream:
    event = current_event()
    print('found:'+lookup_table[data.id].to_representation()["uuid"]+'--> ms:'+str(round((time.time()-event.message.timestamp)*1000)))