如何使用Samza在Kafka主题上创建分区？

Question

我有一些Samza作业正在运行，它们全部从Kafka主题读取消息并将新消息写入新主题。 要发送新消息，我正在使用Samza内置的OutgoingMessageEnvelope。 还使用MessageCollector发送新消息。 看起来像这样：

collector.send(new OutgoingMessageEnvelope(SystemStream, newMessage))

有没有一种方法可以用来将分区添加到Kafka主题？ 例如根据用户ID进行分区或类似的操作。

或者，如果有更好的方法，我想听听！

Answer 1

您应该能够使用分区键发送消息，

    public OutgoingMessageEnvelope(SystemStream systemStream,
                               java.lang.Object partitionKey,
                               java.lang.Object key,
                               java.lang.Object message)
Constructs a new OutgoingMessageEnvelope from specified components.
Parameters:
systemStream - Object representing the appropriate stream of which this envelope will be sent on.
partitionKey - A key representing which partition of the systemStream to send this envelope on.
key - A deserialized key to be used for the message.
message - A deserialized message to be sent in this envelope.

使用此方法将对数据进行分区。 但是我认为，如果您正在考虑以编程方式控制分区数，则应使用kafka API创建/更改此处提到的主题