Kafka 服务器节点因“打开的文件过多”错误而关闭

Question

我们使用 3 节点 Kafka 集群，共有 151 个主题，每个主题有 1 个分区。 我们已经配置了复制因子=3。 当我们启动 kafka 经纪人时，出现以下错误：

ERROR Error while accepting connection (kafka.network.Acceptor)

java.io.IOException: Too many open files

Answer 1

最大值的默认值。 在大多数 Unix 系统上，打开的文件是 1024。 根据您的吞吐量，您需要配置更高的值。 尝试从 32768 或更高版本开始

Answer 2

看起来这是由于文件句柄的数量较少。

您可以检查文件描述符限制，如下所示

ulimit -n

尝试将打开的文件描述符更改为更高的值：

ulimit -n <noOfFiles>

可以获得最大允许打开文件数： cat /proc/sys/fs/file-max