如何在 kubernetes 集群上安装 Ceph

Question

我们想使用Ceph ，但我们想使用 Docker 和 Kubernetes 来快速部署新的Ceph实例。

我尝试使用默认的 ceph docker 集线器： ceph /daemon-base 。 但我没有工作。

我尝试使用ceph-container 。 好像行不通。

这是我的最后一个部署文件：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: ceph3-deployment
spec:
  replicas: 1
  selector:
    matchLabels:
      app: ceph3
  template:
    metadata:
      labels:
        app: ceph3
    spec:
      containers:
        - name: ceph
          image: ceph/daemon-base:v3.0.5-stable-3.0-luminous-centos-7
          resources:
            limits:
              memory: 512Mi
              cpu: "500m"
            requests:
              memory: 256Mi
              cpu: "250m"
          volumeMounts:
            - mountPath: /etc/ceph
              name: etc-ceph
            - mountPath: /var/lib/ceph
              name: lib-ceph
      volumes:
        - name: etc-ceph
          hostPath:
            path: /etc/ceph
        - name: lib-ceph
          hostPath:
            path: /var/lib/ceph

有人已经在 Kubernetes 上安装了 ceph 实例吗？

我试着按照这里的教程

但豆荚不工作：

pod/ceph-mds-7b49574f48-vhvtl         0/1     Pending            0          81s
pod/ceph-mon-75c49c4fd5-2cq2r         0/1     CrashLoopBackOff   3          81s
pod/ceph-mon-75c49c4fd5-6nprj         0/1     Pending            0          81s
pod/ceph-mon-75c49c4fd5-7vrp8         0/1     Pending            0          81s
pod/ceph-mon-check-5df985478b-d87rs   1/1     Running            0          81s

Answer 1

在 Kubernetes 上部署有状态系统的常见做法是使用Operator来管理和编码应用程序的生命周期管理。 Rook是在 Kubernetes 集群上提供 Ceph 生命周期管理的 Operator。

使用 Rook 部署 Ceph 集群的文档可以在https://rook.io/docs/rook/v1.1/ceph-storage.html找到

有关基本介绍，您可以使用Rook Storage 快速入门指南

Ceph 核心团队高度参与 Rook 和 Rook 社区的工作，Rook 在 Kubernetes 社区中广泛部署用于分布式存储应用程序，Ceph Days 活动现在已明确添加 Rook] 成为Ceph + Rook Days

Answer 2

来自服务器的错误（禁止）：pod 被禁止：用户“system:serviceaccount:ceph:default”无法在命名空间“ceph”中的 API 组“”中列出资源“pod”。

此错误意味着您的默认用户无权访问默认命名空间中的资源，请查看文档如何处理 rbac 以及如何授予用户访问权限。 github上也有同样的错误。

安装 Ceph

要安装 ceph，我建议您使用helm

安装 helm

安装 helm 的方法很少，你可以在那里找到它们。

我个人使用helm github 版本下载最新版本。 回答这个问题时，最新版本是 2.15.0。 这就是您可以安装它的方式。

1.下载helm（如果要安装当前版本的helm，请查看上面的helm github发布链接，可能会有新版本。然后您需要做的就是将wget和tar命令中的v2.15.0更改为new，例如 v2.16.0 )

wget https://get.helm.sh/helm-v2.15.0-linux-amd64.tar.gz

2.拆开包装

tar -zxvf helm-v2.15.0-linux-amd64.tar.gz

3.在解压后的目录中找到 helm 二进制文件，并将其移动到所需的目的地

mv linux-amd64/helm /usr/local/bin/helm

4.安装分蘖

将 tiller 安装到集群中最简单的方法就是运行helm init 。 这将验证 helm 的本地环境是否设置正确（并在必要时进行设置）。 然后它将连接到默认情况下 kubectl 连接的任何集群（kubectl 配置视图）。 连接后，它将把 tiller 安装到 kube-system 命名空间中。

然后按照官方文档安装Ceph 。