Apache Ambari 退休。 接下來是什么？

Question

Apache Ambari於 2022 年 1 月搬進了閣樓。

所以 Apache Ambari 已經退休了，我知道的唯一可靠的替代品是 Cloudera Manager，但 Cloudera Manager 是一項付費服務，因此對中小型公司幫助不大。

現在有哪些工具可以幫助我們以正確的方式安裝和管理 Hadoop 生態系統到 go 的生產環境？ 我們不希望以手動安裝且難以管理的 Hadoop 生態系統告終。

Apache Ambari 有什么好的替代品嗎？

Answer 1

這個問題分為幾類...

配置

對於自托管解決方案，答案是配置管理 + 自動化工具。

Ansible（+ AWX/Tower）、Puppet（+ Foreman 或類似的）、Chef 等，用於文件管理（配置為代碼，GitOps 風格）。 這比 Ambari 好得多，因為配置文件模板（和歷史記錄）實際上是在 VCS 中備份的，而不是像在 Ambari（或 Cloudera Manager）中那樣分布在多個 HTML 輸入框中。

使用 VMWare 之類的虛擬化或以其他方式獲取數據中心中的物理機器。

否則，所有雲提供商都有自己的儀表板，用於集群管理和配置以及彈性擴展。 對於“中小型公司”，您應該專注於您的業務問題，而不是基礎設施維護，因此使用雲。 我個人使用過 EMR terraform 模塊，它對於基本集群來說相當簡單（非生產，不需要維護很長時間）。
雲 Hadoop 產品均未使用 Ambari。

您以前有apache-spark ，為此，您可以只使用 Databricks 而不需要整個 Hadoop 集群。

監控小部件

格拉法納。

Prometheus JMX Exporter 可以添加到所有 Hadoop JVM 進程中。 節點和黑盒導出器也可以添加用於 CPU/Mem 主機使用和 TCP/HTTP 健康檢查。

最近的 HDP 版本已經開始使用 Grafana 來顯示指標，其中很多都復制了 Ambari 小部件。

安巴里警報

例如，Prometheus AlertManager，但您可能需要更健壯的東西，如 NewRelic、DataDog 等。

UI 查詢函數（Ambari 視圖）

HUE 可能是最接近文件瀏覽器、Hive 編輯器等的東西。

Answer 2

Apache Ambari離開閣樓狀態，重回頂層apache項目

重新啟動ambari

Answer 3

你應該檢查：

https://bigtop.apache.org/

Apache Bigtop - Bigtop 是一個 Apache 基礎項目，面向尋求全面封裝、測試和配置領先開源大數據組件的基礎設施工程師和數據科學家。 Bigtop 支持廣泛的組件/項目，包括但不限於 Hadoop、HBase 和 Spark。