测试kafka和flink集成流程

Question

我想用例如FlinkKafkaConsumer011和FlinkKafkaProducer011测试Kafka / Flink集成。

该过程将是：

1. 使用Flink从kafka主题阅读
2. 用Flink进行一些操作
3. 用Flink写入另一个kafka主题

以一个字符串示例为例，它将从输入主题读取字符串，将其转换为大写，然后写入一个新主题。

问题是如何测试流量？

当我说测试时，这是单元/集成测试。

谢谢！

Answer 1

Flink文档中有一些关于如何为转换运算符编写单元\\集成测试的文档： link 。 该文档还介绍了有关测试检查点和状态处理以及使用AbstractStreamOperatorTestHarness的内容。

但是，我认为您对端到端集成测试（包括测试源和接收器）更感兴趣。 为此，您可以启动Flink迷你集群。 这是启动Flink迷你集群的示例代码的链接： link 。

您还可以在JVM中启动Kafka Broker，并将其用于测试目的。 Flink的Kafka连接器可以进行集成测试。 这是启动Kafka服务器的示例代码： link 。

如果您在本地运行，则可以使用一个简单的生成器应用程序为您的源Kafka主题生成消息（有很多可用的消息。您可以连续生成消息，也可以基于不同的配置间隔生成消息）。 这是一个有关在本地运行时如何设置Flink作业全局参数的示例： Kafka010Example 。

另一种选择是创建一个集成环境（相对于生产环境）以运行端到端测试。 您将能够真正了解您的程序在类似生产环境中的行为方式。 始终建议您拥有完整的并行测试环境-包括测试源\\接收器Kafka主题。