[英]How Flink Kafka Producer set Semantic in Scala
我想设置Flink kafka生产者语义.EXACTLY_ONCE,我正在使用以下scala代码
alertEnrichStream.map(_.toJsonStr)
.addSink(
new FlinkKafkaProducer011(
kafkaBrokers,
kafkaOutputTopic,
new SimpleStringSchema))
如何编辑代码以设置语义?
使用可以定义语义的构造函数。 像这个:
FlinkKafkaProducer011<Integer> kafkaProducer = new FlinkKafkaProducer011<>(
topic,
new SimpleStringSchema,
properties,
Semantic.EXACTLY_ONCE);
我想出了这个讲师用法,它工作得很好:
val producerProps = new Properties
producerProps.setProperty(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers)
producerProps.setProperty(ProducerConfig.RETRIES_CONFIG, "2147483647")
producerProps.setProperty(ProducerConfig.MAX_IN_FLIGHT_REQUESTS_PER_CONNECTION, "1")
producerProps.setProperty(ProducerConfig.ACKS_CONFIG, "all")
producerProps.setProperty(ProducerConfig.ENABLE_IDEMPOTENCE_CONFIG, "true")
new FlinkKafkaProducer011[String](
topic,
new KeyedSerializationSchemaWrapper[String](new SimpleStringSchema),
producerProps,
Optional.of(new FlinkFixedPartitioner[String]),
FlinkKafkaProducer011.Semantic.EXACTLY_ONCE,
10
)
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.