繁体   English   中英

如何在flink中设置kafka commitOffset?

How to set kafka committedOffset in flink?

提示:本站收集StackOverFlow近2千万问答,支持中英文搜索,鼠标放在语句上弹窗显示对应的参考中文或英文, 本站还提供   中文繁体   英文版本   中英对照 版本,有任何建议请联系yoyou2525@163.com。

我已经设置了由以下内容抵消的提交:

properties.setProperty("auto.commit.interval.ms", "1000");
properties.setProperty("auto.commit.enable", "true");
properties.setProperty("enable.auto.commit", "true");

FlinkKafkaConsumer08<MobilePageEvent> kafkaConsumer =
            new FlinkKafkaConsumer08<>(
                    "mobile-event.page-resource", SCHEMA, properties);

但是在Web UI中,我得到了无效的提交偏移量:

在此处输入图片说明

1 个回复

启用检查点之后,它现在可以工作:

StreamExecutionEnvironment environment =
            StreamExecutionEnvironment.getExecutionEnvironment();

environment.enableCheckpointing(5000);
2 如何在Flink程序中打印kafka主题数据?

我通过以下指令创建了一个主题: 然后,我测试了主题是否正确具有该数据。 之后,我想在Flink程序中打印主题。我的程序是这样的: 但是我得到了这个信息(因为信息太长了,我不得不写一些信息): [main] INFO org.apache.flink.streaming ...

7 如何在Flink中设置RocksDBStateBackend参数?

我使用以下代码设置RocksDBStateBackend及其选项,它可以在本地正确运行,但不能提交给集群。 当我以这种方式提交工作时: 它抛出以下异常: 而且jobmanager.log看起来像这样 我已经更改了代码,并使用单个类文件MRocksDBFactory ...

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2021 STACKOOM.COM