我应该在哪里为多个kubernetes集群提供共享服务？

Question

我们公司正在开发一个应用程序，该应用程序可以在3个不同版本的Kubernetes集群中运行（生产，暂存，测试）。 我们需要随时间监视集群和应用程序（指标和日志）。 我们还需要运行一个邮件服务器。

所以基本上我们有3个不同的环境，具有不同版本的应用程序。 而且我们有一些共享服务只需要运行，我们就不太在乎它们：

• 监控：我们需要安装influxdb和grafana。 在每个集群中，都有一个预安装的堆积器，需要将数据发送到我们的工具。
• 记录：我们尚未决定。
• 邮件服务器（ https://github.com/tomav/docker-mailserver ）
• 独立服务：Sentry，Gitlab

我不确定在哪里运行这些外部共享服务。 我找到了以下选项：

1.在每个群集中

我们需要为3种环境安装3次工具。

缺点：

• 我们没有一个中心点来分析我们的系统。
• 如果整个集群都崩溃了，我们什么也看不到。
• 多次安装相同的工具感觉不正确。

2.创建一个额外的集群

我们将共享工具安装在其他kubernetes-cluster中。

缺点：

• 额外集群的成本
• 将持续的数据发送到外部群集（网络，安全性，防火墙等）可能会更加困难。

3）使用其他根服务器

我们在oldschool根服务器上运行docker-container。

缺点：

• 使用根服务器而不是尖端的k8感到矛盾。
• 单点故障。
• 我们需要手动控制Docker容器（或将机器连接到牧场者）。

---

我试图用Google搜索这个问题，但找不到任何有关该主题的信息。 任何人都可以给我提示或有关此主题的一些链接吗？ 还是集群可能出现故障只是没有相关的问题？

对我来说，第二种选择听起来不太邪恶，但是我仍然无法估计是否很难将数据从一个群集传输到另一个群集。

重要的问题是：

• 在群集中包含监视数据是否会因为在群集处于脱机状态而看不到监视数据而出现问题？
• 是否有一个额外的群集用于共享服务，这不应该影响应用程序的其他部分，这是惯例吗？
• 它是（很容易），可以从一个kubernetes集群到另一个（我们在运行kubernetes发送指标和日志OpenTelekomCloud这基本上是OpenStack ）？

谢谢你的提示

马吕斯

Answer 1

这是一个非常复杂且具有哲学意义的主题，但是我将向您提供我的观点以及支持该观点的一些事实。

我认为最好的方法是第二种方法-创建一个额外的集群，这就是为什么：

1. 您需要一个可以从任何环境访问的点。 使用单独的群集，您可以在所有环境中设置相同的防火墙规则，路由等，并且不会影响当前的工作量。

2. 是的，您需要支付更多。 但是，您需要资源来运行共享的应用程序，并且与应用程序相比，Kubernetes基础架构的开销并不高。

3. 使用单独的群集，您可以设置一个真正的HA解决方案，对于暂存和开发群集可能不需要该解决方案，因此您无需为此付费。

4. 从技术上讲，也可以。 您可以使用Heapster从多个群集中收集数据。 几乎所有日志记录解决方案都可以与多个群集一起使用。 所有其他应用程序都可以仅在单独的集群上运行，这就是您要做的所有事情。

现在，关于您的问题：

在群集中包含监视数据是否会因为在群集处于脱机状态而看不到监视数据而出现问题？

不，单独的集群不是问题。

是否有一个额外的群集用于共享服务，这不应该影响应用程序的其他部分，这是惯例吗？

我想是的。 至少我做了几次，而且我知道其他一些具有类似架构的项目。

是否可以（轻松）将度量标准和日志从一个kubernetes集群发送到另一个（我们在基本上是OpenStack的OpenTelekomCloud中运行kubernetes）？

是的，那里没有什么复杂的。 通常，它不依赖于平台。