在 Kubernetes/OpenShift 中的容器之间共享持久卷声明

Question

这可能是一个愚蠢的问题，但我在网上没有找到太多，想澄清一下。

给定两个部署 A 和 B，它们都具有不同的容器映像：

• 它们部署在 K8/OpenShift 集群中的两个不同的 pod（不同的 rc、svc 等）中。
• 他们都需要访问同一个卷来读取文件（让我们暂时不要锁定）或至少该卷中的相同目录结构。
• 使用由针对 NFS 共享配置的 PV（持久卷）支持的 PVC（持久卷声明）安装此卷。

我可以确认上述实际上是可能的吗？ 即两个不同的 Pod 使用相同的 PVC 连接到相同的卷。 所以他们都在读同一卷书。

希望这是有道理的...

Answer 1

TL;DR 您可以在共享卷（nfs、gluster 等...）的同一项目/命名空间中共享 PV 和 PVC，您还可以从多个项目/命名空间访问您的共享卷，但它需要项目专用的 PV 和 PVC ，因为 PV 绑定到单个项目/命名空间，而 PVC 是项目/命名空间范围的。

下面我试图说明当前的行为以及 PV 和 PVC 在 OpenShift 中的范围。 这些是使用 NFS 作为持久存储层的简单示例。

此时的访问模式只是标签，它们在控制对 PV 的访问方面没有真正的功能。 下面是一些例子来说明这一点

PV 是全局的，因为它可以被任何项目/命名空间看到/访问，但是一旦它绑定到一个项目，它就只能被来自同一项目/命名空间的容器访问

PVC 是特定于项目/命名空间的（因此，如果您有多个项目，则需要为每个项目创建一个新的 PV 和 PVC 才能连接到共享 NFS 卷——不能重用第一个项目中的 PV）

示例 1：
我有 2 个不同的 Pod 在“默认”项目/命名空间中运行，它们都访问相同的 PV 和 NFS 导出共享。 挂载和运行都很好。

[root@k8dev nfs_error]# oc get pv
NAME      LABELS    CAPACITY   ACCESSMODES   STATUS    CLAIM  REASON    AGE
pv-nfs    <none>    1Gi        RWO           Bound default/nfs-claim             3m


[root@k8dev nfs_error]# oc get pods    <--- running from DEFAULT project, no issues connecting to PV
NAME              READY     STATUS    RESTARTS   AGE
nfs-bb-pod2-pvc   1/1       Running   0          11m
nfs-bb-pod3-pvc   1/1       Running   0          10m

示例 2：
我有 2 个不同的 pod 在“默认”项目/命名空间中运行，并尝试使用相同的 PV 创建另一个 pod，但从名为testproject的新项目访问相同的 NFS 导出。 新testproject的第三个 pod 将无法绑定到 PV，因为它已被default项目绑定。

[root@k8dev nfs_error]# oc get pv
NAME      LABELS    CAPACITY   ACCESSMODES   STATUS    CLAIM  REASON    AGE
pv-nfs    <none>    1Gi        RWO           Bound default/nfs-claim             3m


[root@k8dev nfs_error]# oc get pods    <--- running from DEFAULT project, no issues connecting to PV
NAME              READY     STATUS    RESTARTS   AGE
nfs-bb-pod2-pvc   1/1       Running   0          11m
nfs-bb-pod3-pvc   1/1       Running   0          10m

** 从另一个项目 (testproject) 对现有 PV 创建一个新声明，PVC 将失败

[root@k8dev nfs_error]# oc get pvc 
NAME        LABELS    STATUS    VOLUME    CAPACITY   ACCESSMODES   AGE
nfs-claim   <none>    Pending                                      2s

** nfs-claim 永远不会绑定到 pv-nfs PV，因为它无法从当前项目范围中看到它

示例 3：

我在“默认”项目中运行了 2 个不同的 Pod，然后从testproject创建另一个 PV 和 PVC 和 Pod。 两个项目都将能够访问相同的 NFS 导出共享，但我需要在每个项目中都有一个 PV 和 PVC。

[root@k8dev nfs_error]# oc get pv
NAME      LABELS    CAPACITY   ACCESSMODES   STATUS     CLAIM                    REASON    AGE
pv-nfs    <none>    1Gi        RWX           Bound     default/nfs-claim                  14m
pv-nfs2   <none>    1Gi        RWX           Bound     testproject/nfs-claim2             9m



[root@k8dev nfs_error]# oc get pods --all-namespaces
NAMESPACE     NAME              READY     STATUS    RESTARTS   AGE
default       nfs-bb-pod2-pvc   1/1       Running   0          11m
default       nfs-bb-pod3-pvc   1/1       Running   0          11m
testproject   nfs-bb-pod4-pvc   1/1       Running   0          15s

** 注意，我现在有三个 Pod 运行到两个项目中的同一个 NFS 共享卷，但我需要两个 PV，因为它们绑定到一个项目，还有 2 个 PVC，每个项目一个，我正在尝试使用 NFS PV使用权

示例 4：

如果我绕过 PV 和 PVC，我可以直接使用 nfs 插件从任何项目直接连接到共享 NFS 卷

volumes:
- name: nfsvol
  nfs:
    path: /opt/data5
    server: nfs1.rhs

现在，卷安全是在此之上的另一层，使用补充组（用于共享存储，即 nfs、gluster 等），管理员和开发人员应该能够进一步管理和控制对共享 NFS 系统的访问。

希望有帮助

Answer 2

我遇到了这篇文章Learn how to recreate an existing PVC in a new namespace, reusing the same PV without data loss 。 我没有测试过，但值得一试。 但是，k8s 文档说 PV 与 PVC 的关系是一对一的。

关于命名空间的注意事项 PersistentVolumes 绑定是独占的，并且由于 PersistentVolumeClaims 是命名空间对象，因此只能在一个命名空间内使用“许多”模式（ROX、RWX）安装声明。 参考： https://kubernetes.io/docs/concepts/storage/persistent-volumes/#a-note-on-namespaces

Answer 3

AFAIK，不支持多次绑定 PV。 您可以直接将卷源（在您的情况下为 NFS）用于您的用例。