卡夫卡消费者与Apache Flink

Question

我做了一个POC，其中我使用Spark Streaming从Kafka读取数据。 但是我们的组织使用Apache Flink或Kafka使用者作为标准流程从Apache kafka读取数据。 所以我需要用Kafka使用者或Apache Flink替换Kafka流。 在我的应用程序用例中，我需要从kafka读取数据，过滤json数据并将字段放入cassandra，因此建议使用Kafka使用者而不是flink /其他流，因为我真的不需要对Kafka进行任何处理json数据。 因此，我需要您的帮助以了解以下问题：

1. 使用Kafka消费者，我能否获得与火花流或flink相同的连续数据读取？

2. 考虑到我需要从kafka读取数据，使用avro scehma反序列化，过滤字段并放入cassandra，kafka消费者足以满足我的需求吗？

3. 可以使用kafka消费者API创建Kafka消费者应用程序，对吗？

4. 如果我仅使用Kafka使用者而不是Apache flink，是否有不利之处？

Answer 1

首先，让我们看一下Flinka Kafak连接器 ，以及带有Kafka的Spark Streaming ，它们两个都在内部使用Kakfa Consumer API（简单API或高级API）来消耗来自Apache Kafka的消息来工作。

因此，关于您的问题：

1）是的

2）是的。 但是，如果您使用Spark，则可以考虑使用Spark Cassandra连接器 ，它可以帮助我们有效地将数据保存到Cassandara中

3）对

4）如上所述，Flink也使用Kafka客户。 此外，它是分布式流和批处理数据处理，它帮助我们从Kafka消费后有效地处理数据。 在您的情况下，要将数据保存到Cassandra中，可以考虑使用Flink Cassandra Connector，而不要自己编码。