由於狀態無效，無法為 Kafka 流打開存儲

Question

我正在嘗試使用 Kafka Streams，並且創建了以下拓撲：

    KStream<String, HistoryEvent> eventStream = builder.stream(applicationTopicName, Consumed.with(Serdes.String(),
            historyEventSerde));

    eventStream.selectKey((key, value) -> new HistoryEventKey(key, value.getIdentifier()))
            .groupByKey()
            .reduce((e1, e2) -> e2, Materialized.as(streamByKeyStoreName));

我后來開始這樣的流：

private void startKafkaStreams(KafkaStreams streams) {
    CompletableFuture<KafkaStreams.State> stateFuture = new CompletableFuture<>();
    streams.setStateListener((newState, oldState) -> {
        if(stateFuture.isDone()) {
            return;
        }

        if(newState == KafkaStreams.State.RUNNING || newState == KafkaStreams.State.ERROR) {
            stateFuture.complete(newState);
        }
    });

    streams.start();
    try {
        KafkaStreams.State finalState = stateFuture.get();
        if(finalState != KafkaStreams.State.RUNNING) {
            // ...
        }
    } catch (InterruptedException ex) {
        // ...
    } catch(ExecutionException ex) {
        // ...
    }
}

我的 Streams 開始時沒有錯誤，它們最終進入RUNNING狀態，在那里完成未來。 后來我嘗試訪問我在我的拓撲中為 KTable 創建的存儲：

public KafkaFlowHistory createFlowHistory(String flowId) {
    ReadOnlyKeyValueStore<HistoryEventKey, HistoryEvent> store = streams.store(streamByKeyStoreName,
            QueryableStoreTypes.keyValueStore());
    return new KafkaFlowHistory(flowId, store, event -> topicProducer.send(new ProducerRecord<>(applicationTopicName, flowId, event)));
}

我已經驗證在RUNNING狀態下完成初始化未來后調用createFlowHistory ，但是我始終無法執行此操作並且 KafkaStreams 報告以下錯誤：

線程“main” org.apache.kafka.streams.errors.InvalidStateStoreException 中的異常：無法獲取狀態存儲流-事件-流-文件-service-test-instance-by-key 因為流線程是 PARTITIONS_ASSIGNED，而不是 RUNNING

顯然線程的狀態已經改變。 在嘗試查詢商店並等待 Kafka 的內部線程進入正確狀態時，我是否需要手動處理這個問題？

Answer 1

舊版本（2.2.0之前）

在啟動時，Kafka Streams 執行以下狀態轉換：

CREATED -> RUNNING -> REBALANCING -> RUNNING

您需要等待第二個 RUNNING 狀態才能查詢。

新版本：從 2.2.0 開始

啟動時的狀態轉換行為（通過https://issues.apache.org/jira/browse/KAFKA-7657 ）更改為：

CREATED -> REBALANCING -> RUNNING

因此，您不應再遇到此問題。