[英]kafka failing to start - too many open files
我正在尝试启动 Kafka 服务,但出现以下错误。
● kafka.service - Apache Kafka server (broker) Loaded: loaded (/etc/systemd/system/kafka.service; enabled; vendor preset: enabled) Active: failed (Result: exit-code) since Wed 2021-11-17 06:16:12 UTC; 46min ago
Docs: http://kafka.apache.org/documentation.html Process: 10979 ExecStop=/opt/deployments/commoninfra/kafka/bin/kafka-server-stop.sh (code=exited, status=1/FAILURE) Process: 10409 ExecStart=/opt/deployments/commoninfra/kafka/bin/kafka-server-start.sh /opt/deployments/commoninfra/kafka/config/server.properties Main PID: 10409 (code=exited, status=1/FAILURE)
Nov 17 06:16:11 atl-kafka2 kafka-server-start.sh[10409]: at kafka.network.Acceptor.accept(SocketServer.scala:642) Nov 17 06:16:11 atl-kafka2 kafka-server-start.sh[10409]: at kafka.network.Acceptor.run(SocketServer.scala:571) Nov 17 06:16:11 atl-kafka2 kafka-server-start.sh[10409]: at java.lang.Thread.run(Thread.java:748) Nov 17 06:16:11 atl-kafka2 kafka-server-start.sh[10409]: [2021-11-17 06:16:11,519] ERROR Error while accepting connection (kafka.network.Acceptor) Nov 17 06:16:11 atl-kafka2 kafka-server-start.sh[10409]: java.io.IOException: Too many open files Nov 17 06:16:12 atl-kafka2 systemd[1]: kafka.service: Main process exited, code=exited, status=1/FAILURE Nov 17 06:16:12 atl-kafka2 kafka-server-stop.sh[10979]: No kafka server to stop Nov 17 06:16:12 atl-kafka2 systemd[1]: kafka.service: Control process exited, code=exited status=1 Nov 17 06:16:12 atl-kafka2 systemd[1]: kafka.service: Unit entered failed state. Nov 17 06:16:12 atl-kafka2 systemd[1]: kafka.service: Failed with result 'exit-code'.
如何检查以下几点 找出从哪个微服务到 Kafka 有很多连接 已建立和等待连接的总数。
我们试图通过增加 ulimit 来快速修复,但我们每天都面临这个问题。 需要永久解决方案
要调试该问题,请尝试在 Kafka 代理进程上发出lsof
以获取 Kafka 代理已打开的文件列表。 主题分区是文件夹。
检查您的segment.ms
或segment.bytes
以查看 Kafka 是否设置为频繁翻转新段,这最终会导致创建大量文件。
如果需要,您可能还想考虑添加新的经纪人。
确保您使用的是 Kafka 2.1.1+。 查看这张票https://issues.apache.org/jira/browse/KAFKA-7697
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.