Pytorch 在共享服务器上开发的最佳实践

Question

在共享研究深度学习服务器上运行时，处理不同版本的 Python、Pytorch、CUDA 的最佳方法是什么？

目前我们有一个 Docker 图像，整个团队都将其用作基线。 个人用户 pip 安装他们可能需要的任何其他/更新的软件包。 这张图片早就应该更新更新版本的 Pytorch，我们正在评估当前的方法是否仍然可行。

目标是能够自由评估可能需要尖端库的外部代码，同时保持 Docker 赋予的可移植性和可重复性。 此外，我们希望避免重复的库分散在系统的主目录中。

1. 对于研发环境，单个共享 Docker 映像是否是 go 的正确方法？
2. 或者我应该允许用户建立自己的 Anaconda 虚拟环境（缺点：库分歧，代码可移植性成为灾难）？

以下是我绘制的一些途径。 我很感激关于每个人的优缺点的反馈：

1. 单个 Docker 图像。 不同版本的 Python/Torch 可能有几个变体。
   NVIDIA 提供完整的生产映像https://catalog.ngc.nvidia.com/orgs/nvidia/containers/pytorch
   它们完全加载了所有必要的 DL 包，但它们似乎是为非常特定的 Python/Torch/CUDA 版本量身定制的。

2. 从支持 CUDA 的 NVIDIA 映像（例如 nvidia/cuda-10.2-runtime 或 -devel）构建映像，并通过 miniconda 安装 Python、Torch 和 cudatoolkit。 从 pip 或 anaconda（seaborn、numpy、pands、h5py 等）添加任何其他依赖项。 可以将原版 Ubuntu 图像与来自 conda 的 cudatoolkit= 一起使用吗？

3. 允许用户在统一的 Docker 映像中使用 conda 创建虚拟环境？ 这似乎违背了使用 Docker 的目的

4. 让用户直接在服务器上运行 Miniconda