Kafka 服務器節點因“打開的文件過多”錯誤而關閉

Question

我們使用 3 節點 Kafka 集群，共有 151 個主題，每個主題有 1 個分區。 我們已經配置了復制因子=3。 當我們啟動 kafka 經紀人時，出現以下錯誤：

ERROR Error while accepting connection (kafka.network.Acceptor)

java.io.IOException: Too many open files

Answer 1

最大值的默認值。 在大多數 Unix 系統上，打開的文件是 1024。 根據您的吞吐量，您需要配置更高的值。 嘗試從 32768 或更高版本開始

Answer 2

看起來這是由於文件句柄的數量較少。

您可以檢查文件描述符限制，如下所示

ulimit -n

嘗試將打開的文件描述符更改為更高的值：

ulimit -n <noOfFiles>

可以獲得最大允許打開文件數： cat /proc/sys/fs/file-max