Apache Ambari 退休。 接下来是什么？

Question

Apache Ambari于 2022 年 1 月搬进了阁楼。

所以 Apache Ambari 已经退休了，我知道的唯一可靠的替代品是 Cloudera Manager，但 Cloudera Manager 是一项付费服务，因此对中小型公司帮助不大。

现在有哪些工具可以帮助我们以正确的方式安装和管理 Hadoop 生态系统到 go 的生产环境？ 我们不希望以手动安装且难以管理的 Hadoop 生态系统告终。

Apache Ambari 有什么好的替代品吗？

Answer 1

这个问题分为几类...

配置

对于自托管解决方案，答案是配置管理 + 自动化工具。

Ansible（+ AWX/Tower）、Puppet（+ Foreman 或类似的）、Chef 等，用于文件管理（配置为代码，GitOps 风格）。 这比 Ambari 好得多，因为配置文件模板（和历史记录）实际上是在 VCS 中备份的，而不是像在 Ambari（或 Cloudera Manager）中那样分布在多个 HTML 输入框中。

使用 VMWare 之类的虚拟化或以其他方式获取数据中心中的物理机器。

否则，所有云提供商都有自己的仪表板，用于集群管理和配置以及弹性扩展。 对于“中小型公司”，您应该专注于您的业务问题，而不是基础设施维护，因此使用云。 我个人使用过 EMR terraform 模块，它对于基本集群来说相当简单（非生产，不需要维护很长时间）。
云 Hadoop 产品均未使用 Ambari。

您以前有apache-spark ，为此，您可以只使用 Databricks 而不需要整个 Hadoop 集群。

监控小部件

格拉法纳。

Prometheus JMX Exporter 可以添加到所有 Hadoop JVM 进程中。 节点和黑盒导出器也可以添加用于 CPU/Mem 主机使用和 TCP/HTTP 健康检查。

最近的 HDP 版本已经开始使用 Grafana 来显示指标，其中很多都复制了 Ambari 小部件。

安巴里警报

例如，Prometheus AlertManager，但您可能需要更健壮的东西，如 NewRelic、DataDog 等。

UI 查询函数（Ambari 视图）

HUE 可能是最接近文件浏览器、Hive 编辑器等的东西。

Answer 2

Apache Ambari离开阁楼状态，重回顶层apache项目

重新启动ambari

Answer 3

你应该检查：

https://bigtop.apache.org/

Apache Bigtop - Bigtop 是一个 Apache 基础项目，面向寻求全面封装、测试和配置领先开源大数据组件的基础设施工程师和数据科学家。 Bigtop 支持广泛的组件/项目，包括但不限于 Hadoop、HBase 和 Spark。