我如何使用 Apache Flink 在這個 avro 模式中應用過濾器

Question

大家好，我正在反序列化一條 Avro Kafka 消息，如下所示：

FlinkKafkaConsumer<String> consumer = new FlinkKafkaConsumer("conekta.public.person",
     new KafkaGenericAvroDeserializationSchema("http://localhost:8081"), kafkaProps);

我收到的消息是這樣的：

{"before": null, "after": {"id": 257, "status": "c4ca4238a0"}, "source": {"version": "0.9.4.Final", "connector": "postgresql", "name": "conekta", "db": "testdb", "ts_usec": 1579909929965704, "txId": 5847, "lsn": 294339488688, "schema": "public", "table": "person", "snapshot": false, "last_snapshot_record": null, "xmin": null}, "op": "c", "ts_ms": 1579909930004}

{"before": null, "after": {"id": 258, "status": "c4ca4238a0"}, "source": {"version": "0.9.4.Final", "connector": "postgresql", "name": "conekta", "db": "testdb", "ts_usec": 1579910374459669, "txId": 5849, "lsn": 294473695272, "schema": "public", "table": "person", "snapshot": false, "last_snapshot_record": null, "xmin": null}, "op": "c", "ts_ms": 1579910374518}

我如何應用過濾器來獲取我的 flink 消費者上 id < 258 的所有記錄。

我對 Apache Flink 很陌生。

任何幫助都感激不盡。

謝謝！

Answer 1

您可以覆蓋 KafkaGenericAvroDeserializationSchema 上的boolean isEndOfStream(GenericRecord nextElement)以在您希望流結束時返回 true。