繁体   English   中英

kafka CommitFailedException:协调器不知道该成员。 虽然每100毫秒和单个消费者进行一次民意测验

kafka CommitFailedException: The coordinator is not aware of this member. Though poll on every 100 millis and single consumer

提示:本站收集StackOverFlow近2千万问答,支持中英文搜索,鼠标放在语句上弹窗显示对应的参考中文或英文, 本站还提供   中文繁体   英文版本   中英对照 版本,有任何建议请联系yoyou2525@163.com。

我使用的是kafka 1.1.0(单一用户),尽管我的投票非常快,但每100毫秒进行一次投票,却出现此错误。 我使用手动提交,两次提交请求之间的持续时间可能会更改(甚至可能是几个小时)。 但不是民意测验。

我仍然收到此错误“协调员不知道该成员。” 带消息

org.apache.kafka.clients.consumer.CommitFailedException:无法完成提交,因为该组已经重新平衡并已将分区分配给另一个成员。 这意味着后续调用poll()之间的时间比配置的max.poll.interval.ms更长,这通常意味着轮询循环在消息处理上花费了太多时间。 您可以通过增加会话超时或通过使用max.poll.records减小poll()中返回的批处理的最大大小来解决此问题。

可能是此错误的原因。 我到处搜索,但在遇到问题时无法获取任何信息。

默认为“ max.poll.interval.ms”和会话超时。

从日志中,我可以看到最后一次成功的提交位于“ 11:20:11.677”,而失败的提交位于“ 11:20:35.742”,相距仅24秒。

其申请流程带有自己的群组ID。 我可以确认没有其他运行相同组ID的进程。

这来自调试日志:

2018-11-17 17:03:39.227-调试OakcciAbstractCoordinator尝试心跳失败,因为成员ID消费者-1-e237c8ed-fed7-4687-be4d-99e333e48af3无效。

2018-11-17 17:03:39.227-DEBUG oakcciAbstractCoordinator禁用心跳线程2018-11-17 17:08:09.241-DEBUG o.apache.kafka.clients.NetworkClient向节点发送元数据请求(type = MetadataRequest,topic =) 10.0.10.220:9092(ID:1机架:空)

2018-11-17 17:08:09.241-调试org.apache.kafka.clients.Metadata-将群集元数据版本505更新为Cluster(id = 5zFDtyruTP-cIctUkxG0Pg,nodes = [10.0.10.222:9092(id:3机架: null),10.0.10.220:9092(id:1个机架:null),10.0.10.221:9092(id:2个机架:null)],分区= [])

2018-11-17 17:12:09.472-调试o.apache.kafka.clients.NetworkClient节点3断开连接。

2018-11-17 17:12:09.472-调试o.apache.kafka.clients.NetworkClient向节点10.0.10.220:9092发送元数据请求(type = MetadataRequest,topic =)(id:1机架:null)

2018-11-17 17:12:09.472-调试org.apache.kafka.clients.Metadata-将群集元数据版本506更新为Cluster(id = 5zFDtyruTP-cIctUkxG0Pg,nodes = [10.0.10.222:9092(id:3机架: null),10.0.10.221:9092(id:2个机架:null),10.0.10.220:9092(id:1个机架:null)],分区= [])

2018-11-17 17:17:09.502-调试o.apache.kafka.clients.NetworkClient初始化到节点10.0.10.222:9092(id:3机架:null)的连接以发送元数据请求

2018-11-17 17:17:09.503-调试o.apache.kafka.clients.NetworkClient初始化到节点10.0.10.221:9092的连接(id:2机架:null)

2018-11-17 17:17:09.503-调试o.apache.kafka.clients.NetworkClient向节点10.0.10.220:9092发送元数据请求(type = MetadataRequest,topic =)(id:1机架:null)

2018-11-17 17:17:09.503-调试Oakafka.common.network.Selector创建的套接字,其中SO_RCVBUF = 32768,SO_SNDBUF = 131072,SO_TIMEOUT = 0到节点2

2018-11-17 17:17:09.503-调试o.apache.kafka.clients.NetworkClient已完成到节点2的连接。正在获取API版本。

2018-11-17 17:17:09.503-调试o.apache.kafka.clients.NetworkClient初始化API版本从节点2获取。

2018-11-17 17:17:09.503-调试org.apache.kafka.clients.Metadata-将群集元数据版本507更新为Cluster(id = 5zFDtyruTP-cIctUkxG0Pg,nodes = [10.0.10.220:9092(id:1机架: null),10.0.10.221:9092(id:2个机架:null),10.0.10.222:9092(id:3个机架:null)],分区= [])

2018-11-17 17:17:09.503-调试o.apache.kafka.clients.NetworkClient记录了节点3的API版本:(Produce(0):0至5 [usable:5],Fetch(1):0至7 [可用:7],ListOffsets(2):0到2 [可用:2],元数据(3):0到5 [可用:5],LeaderAndIsr(4):0到1 [可用:1],StopReplica (5):0 [可用:0],UpdateMetadata(6):0至4 [可用:4],ControlledShutdown(7):0至1 [可用:1],OffsetCommit(8):0至3 [可用: 3],OffsetFetch(9):0到3 [可用:3],FindCoordinator(10):0到1 [可用:1],JoinGroup(11):0到2 [可用:2],心跳(12): 0至1 [可用:1],LeaveGroup(13):0至1 [可用:1],SyncGroup(14):0至1 [可用:1],DescribeGroups(15):0至1 [可用:1] ,ListGroups(16):0到1 [可用:1],SaslHandshake(17):0到1 [可用:1],ApiVersions(18):0到1 [可用:1],CreateTopics(19):0到2 [可用:2],DeleteTopics(20):0到1 [可用:1],DeleteRecords(21):0 [可用:0],InitProducerId(22):0 [可用:0],OffsetForLeaderEpoch(23): 0 [可用:0],AddPartitionsToTxn(24) :0 [可用:0],AddOffsetsToTxn(25):0 [可用:0],EndTxn(26):0 [可用:0],WriteTxnMarkers(27):0 [可用:0],TxnOffsetCommit(28):0 [可用:0],DescribeAcls(29):0 [可用:0],CreateAcls(30):0 [可用:0],DeleteAcls(31):0 [可用:0],DescribeConfigs(32):0至1 [可用:1],AlterConfigs(33):0 [可用:0],AlterReplicaLogDirs(34):0 [可用:0],DescribeLogDirs(35):0 [可用:0],SaslAuthenticate(36):0 [可用:0],CreatePartitions(37):0 [可用:0],CreateDelegationToken(38):0 [可用:0],RenewDelegationToken(39):0 [可用:0],ExpireDelegationToken(40):0 [可用:0 ],DescribeDelegationToken(41):0 [可用:0],DeleteGroups(42):0 [可用:0])

2018-11-17 17:17:09.503-调试o.apache.kafka.clients.NetworkClient已完成到节点2的连接。正在获取API版本。

2018-11-17 17:17:09.503-调试o.apache.kafka.clients.NetworkClient初始化API版本从节点2获取。

2018-11-17 17:17:09.503-调试org.apache.kafka.clients.Metadata-将群集元数据版本507更新为Cluster(id = 5zFDtyruTP-cIctUkxG0Pg,nodes = [10.0.10.220:9092(id:1机架: null),10.0.10.221:9092(id:2个机架:null),10.0.10.222:9092(id:3个机架:null)],分区= [])

2018-11-17 17:17:09.503-调试o.apache.kafka.clients.NetworkClient记录了节点3的API版本:(Produce(0):0至5 [usable:5],Fetch(1):0至7 [可用:7],ListOffsets(2):0到2 [可用:2],元数据(3):0到5 [可用:5],LeaderAndIsr(4):0到1 [可用:1],StopReplica (5):0 [可用:0],UpdateMetadata(6):0至4 [可用:4],ControlledShutdown(7):0至1 [可用:1],OffsetCommit(8):0至3 [可用: 3],OffsetFetch(9):0到3 [可用:3],FindCoordinator(10):0到1 [可用:1],JoinGroup(11):0到2 [可用:2],心跳(12): 0至1 [可用:1],LeaveGroup(13):0至1 [可用:1],SyncGroup(14):0至1 [可用:1],DescribeGroups(15):0至1 [可用:1] ,ListGroups(16):0到1 [可用:1],SaslHandshake(17):0到1 [可用:1],ApiVersions(18):0到1 [可用:1],CreateTopics(19):0到2 [可用:2],DeleteTopics(20):0到1 [可用:1],DeleteRecords(21):0 [可用:0],InitProducerId(22):0 [可用:0],OffsetForLeaderEpoch(23): 0 [可用:0],AddPartitionsToTxn(24) :0 [可用:0],AddOffsetsToTxn(25):0 [可用:0],EndTxn(26):0 [可用:0],WriteTxnMarkers(27):0 [可用:0],TxnOffsetCommit(28):0 [可用:0],DescribeAcls(29):0 [可用:0],CreateAcls(30):0 [可用:0],DeleteAcls(31):0 [可用:0],DescribeConfigs(32):0至1 [可用:1],AlterConfigs(33):0 [可用:0],AlterReplicaLogDirs(34):0 [可用:0],DescribeLogDirs(35):0 [可用:0],SaslAuthenticate(36):0 [可用:0],CreatePartitions(37):0 [可用:0],CreateDelegationToken(38):0 [可用:0],RenewDelegationToken(39):0 [可用:0],ExpireDelegationToken(40):0 [可用:0 ],DescribeDelegationToken(41):0 [可用:0],DeleteGroups(42):0 [可用:0])2018-11-17 17:17:09.503-DEBUG o.apache.kafka.clients.NetworkClient记录的API版本对于节点2:(Produce(0):0到5 [可用:5],Fetch(1):0到7 [可用:7],ListOffsets(2):0到2 [可用:2],Metadata(3 ):0到5 [可用:5],LeaderAndIsr(4):0到1 [可用:1],StopReplica(5):0 [可用:0],UpdateMetadata(6):0至 4 [可用:4],ControlledShutdown(7):0至1 [可用:1],OffsetCommit(8):0至3 [可用:3],OffsetFetch(9):0至3 [可用:3],FindCoordinator (10):0到1 [可用:1],JoinGroup(11):0到2 [可用:2],心跳(12):0到1 [可用:1],LeaveGroup(13):0到1 [可用:1],SyncGroup(14):0至1 [可用:1],DescribeGroups(15):0至1 [可用:1],ListGroups(16):0至1 [可用:1],SaslHandshake(17) ):0到1 [可用:1],ApiVersions(18):0到1 [可用:1],CreateTopics(19):0到2 [可用:2],DeleteTopics(20):0到1 [可用: 1],DeleteRecords(21):0 [可用:0],InitProducerId(22):0 [可用:0],OffsetForLeaderEpoch(23):0 [可用:0],AddPartitionsToTxn(24):0 [可用:0] ,AddOffsetsToTxn(25):0 [可用:0],EndTxn(26):0 [可用:0],WriteTxnMarkers(27):0 [可用:0],TxnOffsetCommit(28):0 [可用:0],DescribeAcls (29):0 [可用:0],CreateAcls(30):0 [可用:0],DeleteAcls(31):0 [可用:0],DescribeConfigs(32):0至1 [可用:1],AlterConfigs (33):0 [可用:0],AlterR eplicaLogDirs(34):0 [可用:0],DescribeLogDirs(35):0 [可用:0],SaslAuthenticate(36):0 [可用:0],CreatePartitions(37):0 [可用:0],CreateDelegationToken( 38):0 [可用:0],RenewDelegationToken(39):0 [可用:0],ExpireDelegationToken(40):0 [可用:0],DescribeDelegationToken(41):0 [可用:0],DeleteGroups(42) :0 [可用:0])

我在调试中看到成员ID不是唯一消息,并且kafka使用者客户端不断重试连接。

问题暂未有回复.您可以查看右边的相关问题.
2 消费者不知道分区撤销

主题名称:testTopic主题消息的总数:1分区:8消费者组名称:Consumer1 消费者语言:带分区监听器的Java impl基础设施:有4个jvms并行运行(这意味着4个消费者使用相同的组名运行) 问题:当我启动我的第一个消费者时,调用Lister回调方法并完成分区分配..这个 ...

6 c#每100毫秒在单独的线程中轮询一次外部设备

我想构建一个程序,该程序每100毫秒将在单独的线程(与UI线程不同)中与某些外部设备进行通信。 我需要的是一种持续池化的机制。 这是我第一次遇到多线程,而且我不知道如何正确地做... 据我所读,我可以使用System.Threading.Timer类不阻止用户GUI。 不幸的 ...

9 我将当前分支重置为第一次提交,现在我不知道该如何返回

我真的希望有人能帮助我。 使用Git Extensions,我在第一次提交时使用了“将当前分支重置到此处”操作,选择了“ Soft”选项。 现在,我想回到原来的位置,但是看不到!!! 我可以看到目录中的文件没有更改(幸运的是)。 但是我提交的全部历史都消失了,只剩下一个:第一 ...

2014-11-05 15:30:11 1 242   git
10 如何知道我在民意测验系统中等待的时间?

我们正在通过Linux UIO设备基础结构访问FPGA设备。 在此模型下,我们通过轮询设备节点/ dev / uio0来接收来自FPGA的中断。 我们想确保我们不会错过任何中断。 因此,当轮询线程已准备好在poll(2)系统调用中等待时,我们需要一种方法来通知客户端封装设备文件描述符的 ...

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2021 STACKOOM.COM