Lustre的Docker Swarm Volumes？

Question

我为HDFS数据节点设置了docker swarm设置，如下所示（已截断）：

  datanode:
    image: bde2020/hadoop-datanode:2.0.0-hadoop2.7.4-java8
    volumes:
      - datanode:/hadoop/dfs/data
    deploy:
      mode: global
      placement:
        constraints: [ node.role == worker ]
  volumes:
    datanode:

每个datanode容器都有一个关联的datanode卷，该卷当前存储在/ var / lib / docker / volumes中（每个节点本地）。 我可以使用更大（且更快）的光泽文件系统，并试图了解如何将卷存储在光泽文件系统上。

一种可能是将/ var / lib / docker / volumes符号链接到/ lustre / nodeN（其中N是物理节点号），但是namenode似乎无法处理堆栈重启，因为数据（可能）会被移动到另一个节点。

是否存在docker驱动器以支持集群中光泽文件系统上的docker卷？ 如果没有，团队如何管理HDFS等系统的docker卷数据持久性？

Answer 1

恐怕没有误会您的意思是，因为docker配置不存在driver: lustre或类似的东西，例如nfs存在：

volumes:
   db-data:
      driver: local
      driver_opts:
        type: <here is where you could try to put lustre, but it doesn't exist>
        o: addr=$IPADDR,rw
        device: ":/hadoop/dfs/data"

因此，如果您考虑以下架构，请尝试使用lustre-graph-driver

https://github.com/bacaldwell/lustre-graph-driver/blob/master/lustre-graph-driver.jpg

lustre-graph-driver HOWTO中的更多信息