使用 spring apache kafka 从 kafka topic 加载数据到 Cassandra

Question

我正在尝试开发一个 spring 应用程序，该应用程序将从用户那里获取输入并将其存储到主题，然后我不想从该主题将其加载到 cassandra（注意：- 不使用 confluent kafka 版本）。 所以，到目前为止，我能够在 spring 中编写生产者和消费者逻辑，现在需要将数据从 kafka 主题加载到 cassandra。我该怎么做？？？ 当我查看 inte.net 时，建议使用 go 和 API 由 confluent kafka 提供。 但是，我想在 Spring 中进行。我不确定如何编码，也不确定我是否可以使用 apache kafka 的非融合风格来实现这一点。

提前致谢

Answer 1

如果数据已经发布在 Kafka 主题上，您可以只使用 DataStax Kafka 连接器Apache Cassandra、DataStax Enterprise 和Astra DB 。

连接器允许您将记录从 Kafka 主题保存到 Cassandra 表。 它是开源的，因此可以免费使用。 干杯!

Answer 2

Spring 数据有一个 Cassandra 模块：

https://spring.io/projects/spring-data-cassandra

Apache Cassandra NoSQL 数据库为寻求处理高速、大容量和可变数据流的解决方案的团队提供了许多新功能。 这种新的思维方式引入了新的概念和学习曲线，这可能会让团队成员和团队经理望而生畏。 Spring Apache 的数据 Cassandra 为过去使用过其他 Spring 数据模块的用户提供了熟悉的界面。

The learning curve for developing applications with Apache Cassandra is significantly reduced when using Spring Data for Apache Cassandra. With the power to stay at a high level with annotated POJOs, or at a low level with high performance data ingestion capabilities, the Spring Data for Apache Cassandra 模板一定能满足各种应用需求。

特性 基于通用 Spring 数据接口构建存储库

• 支持同步、反应和异步数据操作

• 支持基于 XML 的 Keyspace 创建和 CQL Table 创建

• JavaConfig 和 XML 支持所有集群和 Session 功能

• 异常转换为熟悉的 Spring DataAccessException 层次结构

• 方便的 QueryBuilder 无需学习 CQL

• 自动实现 Repository 接口，包括支持自定义查询方法

• 2.x版本基于3.x DataStax CQL Java Driver，3.x版本使用DataStax Java Driver 4.x