無論如何對kafka流應用程序中的不同輸入主題使用不同的auto.offset.reset策略？

Question

用例是：我有一個 kafka 流應用程序，該應用程序從輸入主題消費，並輸出到中間主題，然后在同一流中另一個拓撲從該中間主題消費。

每當應用程序 id 更新時，兩個主題都從最早開始到消費者。 我想將中間主題的 auto.offset.reset 更改為最新，同時將輸入主題的 auto.offset.reset 保持為最早。

Answer 1

是的。 您可以通過以下方式為每個主題設置重置策略：

// Processor API
topology.addSource(AutoOffsetReset offsetReset, String name, String... topics); 

// DSL
builder.stream(String topic, Consumed.with(AutoOffsetReset offsetReset));
builder.table(String topic, Consumed.with(AutoOffsetReset offsetReset));

所有這些方法都有一些允許設置它的重載。