如何配置從 SQS 獲取消息並將它們移動到 Kafka 主題的 Kafka 連接器？

Question

我有一個用例，我想將消息從 SQS 移動到 Kafka 主題。 要使用的框架是SpringBoot。 所以，每當我運行我的代碼時，它應該開始移動消息。 我搜索了一些文章，但很少。 我正在尋找一些樣板代碼，以遵循最佳實踐以及如何進一步進行。

提前致謝。

Answer 1

您需要熟悉企業集成模式及其Spring 集成實現。

要從 AWS SQS 獲取消息，您需要使用SqsMessageDrivenChannelAdapter Integration for AWS擴展中的 SqsMessageDrivenChannelAdapter。 要將記錄發布到 Apache Kafka 主題中，您需要spring-integration-kafka模塊中的KafkaProducerMessageHandler 。

然后，通過 Spring 引導配置中的IntegrationFlow bean 將所有內容連接在一起。

當然，您可以直接將Spring Cloud 用於 AWS ， Spring 用於 Apache Kafka 。 選擇權在您手中，但最好遵循最佳實踐並開始開發真正的集成解決方案。

Answer 2

Apache Kafka提供了多種方式來從不同來源攝取數據，例如Kafka Connect 、 Kafka Producer等，我們在選擇 Kafka 的特定組件時需要小心，記住某些事情，例如重試機制、可伸縮性等。

在這種情況下，最好的解決方案是使用Amazon SQS 源連接器將來自AWS SQS的數據提取到Kafka topic中，然后編寫您的消費者應用程序以使用該特定topic的記錄 stream 執行任何必要的操作。