[英]Testing a @KafkaListener using Spring Embedded Kafka
我正在尝试为我正在使用 Spring Boot 2.x 开发的 Kafka 侦听器编写单元测试。 作为单元测试,我不想启动一个完整的 Kafka 服务器作为 Zookeeper 的实例。 所以,我决定使用 Spring Embedded Kafka。
我的听众的定义是非常基本的。
@Component
public class Listener {
private final CountDownLatch latch;
@Autowired
public Listener(CountDownLatch latch) {
this.latch = latch;
}
@KafkaListener(topics = "sample-topic")
public void listen(String message) {
latch.countDown();
}
}
此外,在收到消息后验证latch
计数器是否为零的测试也非常简单。
@RunWith(SpringRunner.class)
@SpringBootTest
@DirtiesContext
@EmbeddedKafka(topics = { "sample-topic" })
@TestPropertySource(properties = { "spring.kafka.bootstrap-servers=${spring.embedded.kafka.brokers}" })
public class ListenerTest {
@Autowired
private KafkaEmbedded embeddedKafka;
@Autowired
private CountDownLatch latch;
private KafkaTemplate<Integer, String> producer;
@Before
public void setUp() {
this.producer = buildKafkaTemplate();
this.producer.setDefaultTopic("sample-topic");
}
private KafkaTemplate<Integer, String> buildKafkaTemplate() {
Map<String, Object> senderProps = KafkaTestUtils.producerProps(embeddedKafka);
ProducerFactory<Integer, String> pf = new DefaultKafkaProducerFactory<>(senderProps);
return new KafkaTemplate<>(pf);
}
@Test
public void listenerShouldConsumeMessages() throws InterruptedException {
// Given
producer.sendDefault(1, "Hello world");
// Then
assertThat(latch.await(10L, TimeUnit.SECONDS)).isTrue();
}
}
不幸的是,测试失败了,我不明白为什么。 是否可以使用KafkaEmbedded
的实例来测试标有@KafkaListener
注释的@KafkaListener
?
所有代码都在我的 GitHub 存储库kafka-listener 中共享。
谢谢大家。
您可能在消费者被分配主题/分区之前发送消息。 设置属性...
spring:
kafka:
consumer:
auto-offset-reset: earliest
...它默认为latest
。
这就像在控制台消费者中使用--from-beginning
一样。
编辑
哦; 你没有使用引导的属性。
添加
props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
编辑2
顺便说一句,您可能还应该对template.send()
(一个Future<>
)的结果执行get(10L, TimeUnit.SECONDS)
) 以断言发送成功。
编辑3
要覆盖仅用于测试的偏移量重置,您可以执行与对代理地址所做的相同的操作:
@Value("${spring.kafka.consumer.auto-offset-reset:latest}")
private String reset;
...
props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, this.reset);
和
@TestPropertySource(properties = { "spring.kafka.bootstrap-servers=${spring.embedded.kafka.brokers}",
"spring.kafka.consumer.auto-offset-reset=earliest"})
但是,请记住,此属性仅适用于组第一次消费时。 要在每次应用程序启动时始终从最后开始,您必须在启动期间寻找到最后。
此外,我建议将enable.auto.commit
设置为false
以便容器负责提交偏移量,而不是仅仅依赖消费者客户端按时间表执行。
也许有人会发现这很有用。 我有一个类似的问题。 本地测试正在运行(在Awaitility.waitAtMost
中执行了一些检查),但在 Jenkins 管道中,测试失败了。
解决方案是,就像在投票最多的答案中已经提到的那样,设置auto-offset-reset=earliest
。 当测试运行时,您可以通过查看测试日志来检查是否正确设置了配置。 Spring 输出生产者和消费者的配置
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.