Hadoop中Zookeeper的作用

Question

我根據幻燈片了解到，在 Hadoop 的上下文中，Zookeeper 用於存儲 Master 的信息，以及不同任務的狀態，哪個工作人員正在哪個分區上工作，並且可用的工作人員也存儲在 Zookeeper 中。

為什么這里使用 Zookeeper 來存儲這個元數據呢？ 可以使用任何數據存儲嗎？

例如 Celery 可以配置任何結果后端 Redis/Mongo 等。那么實際上 Hadoop 可以使用任何存儲后端嗎？ 但為什么是 Zookeeper？

該文檔建議 Redis、SQLite、MySQL、PostgreSQL 可用於 celery 任務結果存儲。

https://docs.celeryq.dev/en/stable/getting-started/backends-and-brokers/index.html

Answer 1

Zookeeper ZAB 協議用於領導人選舉，以及分布式鎖。

它不僅僅是一個數據存儲，不，不是任何一個都可以使用。

Celery 沒有在 Hadoop 生態系統中使用，所以我不確定這與問題有什么關系。