从火花流写入kafka的最简单方法是什么

Question

我想从火花流数据写入 kafka。 我知道我可以使用KafkaUtils从 kafka 读取。 但是，KafkaUtils 不提供 API 来写入 kafka。

我检查了过去的问题和示例代码。

以上示例代码是写入 kafka 的最简单方法吗？ 如果我采用上述示例的方式，我必须创建许多类...

你知道更简单的方法或库来帮助写入 kafka 吗？

Answer 1

看看这里：

基本上，这篇博文总结了您提供的链接中以不同变体形式编写的可能性。

如果我们直接看你的任务，我们可以做几个假设：

• 您的输出数据被分成几个分区，这些分区可能（并且经常会）驻留在不同的机器上
• 您想使用标准的 Kafka Producer API 将消息发送到 Kafka
• 您不想在实际发送到 Kafka 之前在机器之间传递数据

鉴于这些假设，您的解决方案集非常有限：您是否必须为每个分区创建一个新的 Kafka 生产者并使用它来发送该分区的所有记录，或者您可以将此逻辑包装在某种工厂/接收器中，但是基本操作将保持不变：您仍将为每个分区请求一个生产者对象并使用它来发送分区记录。

我建议您继续使用提供的链接中的示例之一，代码很短，您会找到的任何库很可能会在幕后做完全相同的事情。