有關如何設置mesos，cassandra和spark的物理（測試）集群的任何資源

Question

我已經能夠購買4台物理機器來設置火花測試集群。 數據將存儲在cassandra中，計算將通過spark（sql和數據幀）完成。 我正計划使用mesos，因為作為開發人員，我希望盡可能少地進行基礎結構工作。

但是，我發現的幾乎所有教程均來自mesophere，並使用其商業 dcos基礎結構。 我能夠將dcos cli配置為使用馬拉松，但是其中之一的支持人員告訴我，它可能無法很好地工作。

我能夠安裝cassandra，但是馬拉松告訴我它的狀態為“不健康”。 Spark甚至還沒有達到目標，Marathon告訴我部署任務失敗了，但是沒有時間，沒有錯誤消息，什么也沒有。

使用mesos只是一個壞主意嗎？ 還有其他選擇嗎？ 關於如何使cassandra和spark運行的其他資源嗎？ 我不介意購買書籍。

更新：我在所有四台機器上都運行CentOS 7。 這些機器有超過20 gig的ram，12 cpus和大約1 TB的磁盤。 其中之一被設置為主節點（運行zookeeper和mesos主節點），其余機器為從節點/客戶端。

Answer 1

好吧，關於如何安裝集群的文​​章不錯，例如

• https://www.digitalocean.com/community/tutorials/how-to-configure-a-production-ready-mesosphere-cluster-on-ubuntu-14-04
• https://open.mesosphere.com/advanced-course/

不幸的是，您沒有提供太多有關您的環境的信息，例如您使用的操作系統。

就個人而言，我以完全docker化的方式在CoreOS集群上運行Mesos，這意味着Mesos Master和Slaves也都在容器中運行。 如果您很感興趣，請看看

• https://github.com/tobilg/coreos-setup

來查看我的systemd設置以在CoreOS上運行Mesos。

關於Spark，有幾種方法可以使其在Mesos上運行。 看一下Spark文檔

• http://spark.apache.org/docs/latest/running-on-mesos.html

得到一個想法。 此外，您可以在Docker容器中運行Spark-Jobserver ，該容器隨后將用作Spark作業的客戶端應用程序（使用REST API等）。 Dockerfile /鏡像位於

• https://github.com/tobilg/docker-spark-jobserver
• https://hub.docker.com/r/tobilg/spark-jobserver/

要將Cassandra作為Mesos上的框架運行，請看一下

• https://github.com/mesosphere/cassandra-mesos