将数据从单独的kafka集群加载到Samza？

Question

我正在尝试创建一个Samza工作，使其与Wikipedia示例工作非常相似。 但是，在“ WikipediaFeed”对象中，我试图从与启动Hello-Samza网格时正在运行的Kafka代理不同的Kafka代理获取数据。

我是否必须在“ WikipediaFeed”对象内创建一个线程安全的Kafka使用者以使用来自不同Kafka群集的数据，或者还有别的看不到的方式吗？

编辑1：这是指向其Wikipedia示例的链接。 https://github.com/apache/samza-hello-samza/tree/master/src/main

谢谢

Answer 1

在您的示例中，您需要更改此配置（ https://github.com/apache/samza-hello-samza/blob/master/src/main/config/wikipedia-feed.properties ）：

systems.kafka.consumer.zookeeper.connect=KAFKA_CLUSTER_FRONTING:2181
systems.kafka.producer.bootstrap.servers=KAFKA_CLUSTER_FRONTING:9092
task.inputs=kafka.topic1,kafka.topic2,kafka.topic3

使用Fronting Kafka集群更改配置，并将主题添加到task.inputs中，以“，”分隔

编辑：为了清楚起见，您可以将Samza部署到集群1中，并使用另一个集群中的Kafka主题。 您需要在Samza属性中更改配置。

查看更多信息： Samza配置

然后，如果您需要将处理后的消息发送到另一个Kafka集群，则需要在配置中创建另一个系统。

查看更多信息： https : //samza.apache.org/learn/documentation/0.13/api/overview.html