有条件地在 docker-compose 中挂载卷以适应多种情况

Question

我使用 docker 和 docker compose 将科学工具打包成易于/通用的可执行模块。 一个例子是一个 docker，它将一个相当复杂的 python 库打包到一个运行 jupyter notebook 服务器的容器中； 这个想法是，其他不太精通技术的科学家可以克隆一个 github 存储库，运行docker-compose up然后进行分析，而无需安装库、配置各种插件和其他依赖项等。

我让这一切工作正常，只是我在让卷安装以连贯的方式工作时遇到问题。 这样做的原因是 docker 容器内的库处理多种数据集，用户将这些数据集存储在几个单独的目录中，这些目录通常通过 shell 环境变量进行跟踪。 （请不要告诉我这是一个糟糕的方法——这是在现场做事的方式，而不是我选择的做事方式。）因此，例如，如果用户存储 FreeSurfer 数据，它们将有一个名为 SUBJECTS_DIR 的环境变量，指向包含数据的目录； 如果他们存储 HCP 数据，他们将有一个环境变量 HCP_SUBJECTS_DIR。 但是，他们可能同时拥有这些集合，或者两者都没有（以及其他一些）。

我希望能够在我的 docker-compose.yml 文件中放置类似的内容以处理这些情况：

version: '3'
services:
   my_fancy_library:
      build: .
      ports:
         - "8080:8888"
      environment:
         - HCP_SUBJECTS_DIR="/hcp_subjects"
         - SUBJECTS_DIR="/freesurfer_subjects"
      volumes:
         - "$SUBJECTS_DIR:/freesurfer_subjects"
         - "$HCP_SUBJECTS_DIR:/hcp_subjects"

在对此进行测试时，如果用户设置了两个环境变量，则一切正常。 但是，如果他们没有这些设置中的一个，我会收到关于未安装长度少于 2 个字符的目录的错误（我认为这是对安装由“:/hcp_subjects”指定的卷的抱怨）。

这个问题问的基本相同，答案指向这里，如果我理解正确的话，它基本上解释了如何以某种方式解决多个 docker-compose 文件。 由于以下几个原因，这对于我的案例来说并不是一个真正可行的解决方案：

• 这个工具是为那些不一定了解 docker、docker-compose 或相关实用程序的人设计的，所以期望他们编写/编辑自己的 docker-compose.yml 文件是一个问题
• 这些目录不止两个（我以两个为例），实际上我无法为这些路径的每个可能组合创建一个 docker-compose 文件，这些路径被声明或未声明
• 老实说，考虑到所需的信息就在 docker-compose 已经读取的变量中，这个解决方案看起来真的很笨拙。

我能够想出的唯一体面的解决方案是要求用户运行脚本./run.sh而不是docker-compose up ； 该脚本检查环境变量，用适当的卷写出自己docker-compose.yml文件，并运行docker-compose.yml docker-compose up本身。 这看起来也有点笨拙，但它有效。

有没有人知道在运行docker-compose up时根据环境变量的状态有条件地挂载一组卷的方法？

Answer 1

您可以在与.env docker-compose.yml ^[1]一起提供的.env文件中设置环境变量的默认值。

通过默认将环境变量设置为/dev/null ，然后在容器化应用程序中处理这种情况，您应该能够实现您所需要的。

例子

$ tree -a
.
├── docker-compose.yml
├── Dockerfile
├── .env
└── run.sh

docker-compose.yml

version: "3"

services:
  test:
    build: .
    environment:
      - VOL_DST=${VOL_DST}
    volumes:
      - "${VOL_SRC}:${VOL_DST}"

文件

FROM alpine
COPY run.sh /run.sh
ENTRYPOINT ["/run.sh"]

.env

VOL_SRC=/dev/null
VOL_DST=/volume

运行文件

#!/usr/bin/env sh
set -euo pipefail

if [ ! -d ${VOL_DST} ]; then
  echo "${VOL_DST} not mounted"
else
  echo "${VOL_DST} mounted"
fi

测试

未定义环境变量VOL_SRC ：

$ docker-compose up
Starting test_test_1 ... done
Attaching to test_test_1
test_1  | /volume not mounted
test_test_1 exited with code 0

环境变量VOL_SRC定义：

$ VOL_SRC="./" docker-compose up
Recreating test_test_1 ... done
Attaching to test_test_1
test_1  | /volume mounted

---

^[1] https://docs.docker.com/compose/environment-variables/#the-env-file

Answer 2

虽然@Ente 的回答解决了这个问题，但当您在环境之间有更复杂的差异时，这里有一个替代解决方案。

Docker compose 支持多个 docker-compose 文件，用于在不同环境中进行配置覆盖。

这很有用，例如，如果您有不同的命名卷，您可能需要根据环境将其安装在同一路径上。

您可以修改现有服务，甚至添加新服务，例如：

# docker-compose.yml
version: '3.3'
services:
  service-a:
    image: "image-name"
    volumes:
        - type: volume
          source: vprod
          target: /data
    ports:
     - "80:8080"

volumes:
  vprod:
  vdev:

然后你有覆盖文件来更改卷映射：

# docker-compose.override.yml
services:
  service-a:
    volumes:
        - type: volume
          source: vdev
          target: /data

运行docker-compose up -d两个配置都将与优先的覆盖文件合并。

Docker compose 默认选取docker-compose.yml和docker-compose.yml docker-compose.override.yml ，如果文件较多，或者文件名不同，需要按顺序指定：

docker-compose -f docker-compose.yml -f docker-compose.custon.yml -f docker-compose.dev.yml up -d