Lustre的Docker Swarm Volumes？

Question

我為HDFS數據節點設置了docker swarm設置，如下所示（已截斷）：

  datanode:
    image: bde2020/hadoop-datanode:2.0.0-hadoop2.7.4-java8
    volumes:
      - datanode:/hadoop/dfs/data
    deploy:
      mode: global
      placement:
        constraints: [ node.role == worker ]
  volumes:
    datanode:

每個datanode容器都有一個關聯的datanode卷，該卷當前存儲在/ var / lib / docker / volumes中（每個節點本地）。 我可以使用更大（且更快）的光澤文件系統，並試圖了解如何將卷存儲在光澤文件系統上。

一種可能是將/ var / lib / docker / volumes符號鏈接到/ lustre / nodeN（其中N是物理節點號），但是namenode似乎無法處理堆棧重啟，因為數據（可能）會被移動到另一個節點。

是否存在docker驅動器以支持集群中光澤文件系統上的docker卷？ 如果沒有，團隊如何管理HDFS等系統的docker卷數據持久性？

Answer 1

恐怕沒有誤會您的意思是，因為docker配置不存在driver: lustre或類似的東西，例如nfs存在：

volumes:
   db-data:
      driver: local
      driver_opts:
        type: <here is where you could try to put lustre, but it doesn't exist>
        o: addr=$IPADDR,rw
        device: ":/hadoop/dfs/data"

因此，如果您考慮以下架構，請嘗試使用lustre-graph-driver

https://github.com/bacaldwell/lustre-graph-driver/blob/master/lustre-graph-driver.jpg

lustre-graph-driver HOWTO中的更多信息