Apache Nifi 是否准備好在生產中與 Kube.netes 一起使用？

Question

我計划在 Kube.netes 上設置 Apache Nifi 並將其投入生產。 在我瀏覽期間，我沒有發現任何人可能將這種組合用於生產設置。

選擇這個組合是個好主意嗎？ 您能否在這里分享您的想法/經驗。

https://community.cloudera.com/t5/Support-Questions/NiFi-on-Kube.netes/td-p/203864

Answer 1

正如評論中提到的，已經在 Kubernetes 上完成了有關 Nifi 的工作，但目前這並不普遍。

很高興知道在來年 Nifi 和 Kubernetes 會以某種形式或形式會面的數據流產品。刮。

*免責聲明：雖然我是Nifi背后的主要驅動力Cloudera的員工，但我沒有資格做出承諾，這純粹是我個人的看法。

Answer 2

我想邀請您在https://github.com/Datenworks/apache-nifi-helm試用 Helm 圖表

我們一直在生產環境中在 GKE（Google Kubernetes 引擎）上維護一個 5 節點 Nifi 集群，沒有出現重大問題並且性能非常好。 如果您發現在您的環境中運行此圖表有任何問題，請告訴我。

Answer 3

關於 k8s 上的任何高音量設置。 請務必調整您的 linux kernel（主要與 Linux 連接跟蹤器 (Contrack) 服務相關。您還將期望看到非零的 tcp 超時、重試、window acks 等）。使用，可能需要額外的配置更改。

我假設您使用的是 containerd 而不是使用 docker.networking（顯然 pod 中的容器除外）

該問題適用於任何重型 IO pod：kafka、NiFi、mySQL、PostGreSQL，隨你便。

在以下情況下事件會增加：

• 發生“大量”交叉 pod（尤其是交叉節點）tcp 連接
• 如果您有大（兆字節或更大）消息，則會出現其他錯誤

注意使用 Pod 或 VM tcp 堆棧的任何其他組件（例如支持 NiFi 持久存儲的 PVC 軟件）