为什么在 Alpine Linux 上安装 Pandas 需要很长时间

Question

我注意到使用基本操作系统 Alpine 与 CentOS 或 Debian 在 Docker 容器中安装 Pandas 和 Numpy（它的依赖项）需要更长的时间。 我在下面创建了一个小测试来演示时差。 除了 Alpine 需要几秒钟来更新和下载构建依赖项以安装 Pandas 和 Numpy 之外，为什么 setup.py 需要比 Debian 安装多 70 倍的时间？

有没有办法使用 Alpine 作为基础镜像来加快安装速度，或者是否有另一个大小与 Alpine 相当的基础镜像更适合用于 Pandas 和 Numpy 等软件包？

Dockerfile.debian

FROM python:3.6.4-slim-jessie

RUN pip install pandas

使用 Pandas 和 Numpy 构建 Debian 映像：

[PandasDockerTest] time docker build -t debian-pandas -f Dockerfile.debian . --no-cache
    Sending build context to Docker daemon  3.072kB
    Step 1/2 : FROM python:3.6.4-slim-jessie
     ---> 43431c5410f3
    Step 2/2 : RUN pip install pandas
     ---> Running in 2e4c030f8051
    Collecting pandas
      Downloading pandas-0.22.0-cp36-cp36m-manylinux1_x86_64.whl (26.2MB)
    Collecting numpy>=1.9.0 (from pandas)
      Downloading numpy-1.14.1-cp36-cp36m-manylinux1_x86_64.whl (12.2MB)
    Collecting pytz>=2011k (from pandas)
      Downloading pytz-2018.3-py2.py3-none-any.whl (509kB)
    Collecting python-dateutil>=2 (from pandas)
      Downloading python_dateutil-2.6.1-py2.py3-none-any.whl (194kB)
    Collecting six>=1.5 (from python-dateutil>=2->pandas)
      Downloading six-1.11.0-py2.py3-none-any.whl
    Installing collected packages: numpy, pytz, six, python-dateutil, pandas
    Successfully installed numpy-1.14.1 pandas-0.22.0 python-dateutil-2.6.1 pytz-2018.3 six-1.11.0
    Removing intermediate container 2e4c030f8051
     ---> a71e1c314897
    Successfully built a71e1c314897
    Successfully tagged debian-pandas:latest
    docker build -t debian-pandas -f Dockerfile.debian . --no-cache  0.07s user 0.06s system 0% cpu 13.605 total

Dockerfile.alpine

FROM python:3.6.4-alpine3.7

RUN apk --update add --no-cache g++

RUN pip install pandas

使用 Pandas 和 Numpy 构建 Alpine 映像：

[PandasDockerTest] time docker build -t alpine-pandas -f Dockerfile.alpine . --no-cache
Sending build context to Docker daemon   16.9kB
Step 1/3 : FROM python:3.6.4-alpine3.7
 ---> 4b00a94b6f26
Step 2/3 : RUN apk --update add --no-cache g++
 ---> Running in 4b0c32551e3f
fetch http://dl-cdn.alpinelinux.org/alpine/v3.7/main/x86_64/APKINDEX.tar.gz
fetch http://dl-cdn.alpinelinux.org/alpine/v3.7/main/x86_64/APKINDEX.tar.gz
fetch http://dl-cdn.alpinelinux.org/alpine/v3.7/community/x86_64/APKINDEX.tar.gz
fetch http://dl-cdn.alpinelinux.org/alpine/v3.7/community/x86_64/APKINDEX.tar.gz
(1/17) Upgrading musl (1.1.18-r2 -> 1.1.18-r3)
(2/17) Installing libgcc (6.4.0-r5)
(3/17) Installing libstdc++ (6.4.0-r5)
(4/17) Installing binutils-libs (2.28-r3)
(5/17) Installing binutils (2.28-r3)
(6/17) Installing gmp (6.1.2-r1)
(7/17) Installing isl (0.18-r0)
(8/17) Installing libgomp (6.4.0-r5)
(9/17) Installing libatomic (6.4.0-r5)
(10/17) Installing pkgconf (1.3.10-r0)
(11/17) Installing mpfr3 (3.1.5-r1)
(12/17) Installing mpc1 (1.0.3-r1)
(13/17) Installing gcc (6.4.0-r5)
(14/17) Installing musl-dev (1.1.18-r3)
(15/17) Installing libc-dev (0.7.1-r0)
(16/17) Installing g++ (6.4.0-r5)
(17/17) Upgrading musl-utils (1.1.18-r2 -> 1.1.18-r3)
Executing busybox-1.27.2-r7.trigger
OK: 184 MiB in 50 packages
Removing intermediate container 4b0c32551e3f
 ---> be26c3bf4e42
Step 3/3 : RUN pip install pandas
 ---> Running in 36f6024e5e2d
Collecting pandas
  Downloading pandas-0.22.0.tar.gz (11.3MB)
Collecting python-dateutil>=2 (from pandas)
  Downloading python_dateutil-2.6.1-py2.py3-none-any.whl (194kB)
Collecting pytz>=2011k (from pandas)
  Downloading pytz-2018.3-py2.py3-none-any.whl (509kB)
Collecting numpy>=1.9.0 (from pandas)
  Downloading numpy-1.14.1.zip (4.9MB)
Collecting six>=1.5 (from python-dateutil>=2->pandas)
  Downloading six-1.11.0-py2.py3-none-any.whl
Building wheels for collected packages: pandas, numpy
  Running setup.py bdist_wheel for pandas: started
  Running setup.py bdist_wheel for pandas: still running...
  Running setup.py bdist_wheel for pandas: still running...
  Running setup.py bdist_wheel for pandas: still running...
  Running setup.py bdist_wheel for pandas: still running...
  Running setup.py bdist_wheel for pandas: still running...
  Running setup.py bdist_wheel for pandas: still running...
  Running setup.py bdist_wheel for pandas: finished with status 'done'
  Stored in directory: /root/.cache/pip/wheels/e8/ed/46/0596b51014f3cc49259e52dff9824e1c6fe352048a2656fc92
  Running setup.py bdist_wheel for numpy: started
  Running setup.py bdist_wheel for numpy: still running...
  Running setup.py bdist_wheel for numpy: still running...
  Running setup.py bdist_wheel for numpy: still running...
  Running setup.py bdist_wheel for numpy: finished with status 'done'
  Stored in directory: /root/.cache/pip/wheels/9d/cd/e1/4d418b16ea662e512349ef193ed9d9ff473af715110798c984
Successfully built pandas numpy
Installing collected packages: six, python-dateutil, pytz, numpy, pandas
Successfully installed numpy-1.14.1 pandas-0.22.0 python-dateutil-2.6.1 pytz-2018.3 six-1.11.0
Removing intermediate container 36f6024e5e2d
 ---> a93c59e6a106
Successfully built a93c59e6a106
Successfully tagged alpine-pandas:latest
docker build -t alpine-pandas -f Dockerfile.alpine . --no-cache  0.54s user 0.33s system 0% cpu 16:08.47 total

Answer 1

基于 Debian 的映像仅使用python pip来安装.whl格式的软件包：

  Downloading pandas-0.22.0-cp36-cp36m-manylinux1_x86_64.whl (26.2MB)
  Downloading numpy-1.14.1-cp36-cp36m-manylinux1_x86_64.whl (12.2MB)

WHL 格式被开发为一种安装 Python 软件的更快、更可靠的方法，而不是每次都从源代码重新构建。 WHL 文件只需移动到要安装的目标系统上的正确位置，而源代码分发在安装前需要一个构建步骤。

基于 Alpine 平台的镜像不支持轮子包pandas和numpy 。 这就是为什么当我们在构建过程中使用python pip安装它们时，我们总是从 alpine 中的源文件编译它们：

  Downloading pandas-0.22.0.tar.gz (11.3MB)
  Downloading numpy-1.14.1.zip (4.9MB)

我们可以在镜像构建过程中看到以下容器内部：

/ # ps aux
PID   USER     TIME   COMMAND
    1 root       0:00 /bin/sh -c pip install pandas
    7 root       0:04 {pip} /usr/local/bin/python /usr/local/bin/pip install pandas
   21 root       0:07 /usr/local/bin/python -c import setuptools, tokenize;__file__='/tmp/pip-build-en29h0ak/pandas/setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n
  496 root       0:00 sh
  660 root       0:00 /bin/sh -c gcc -Wno-unused-result -Wsign-compare -DNDEBUG -g -fwrapv -O3 -Wall -Wstrict-prototypes -DTHREAD_STACK_SIZE=0x100000 -fPIC -Ibuild/src.linux-x86_64-3.6/numpy/core/src/pri
  661 root       0:00 gcc -Wno-unused-result -Wsign-compare -DNDEBUG -g -fwrapv -O3 -Wall -Wstrict-prototypes -DTHREAD_STACK_SIZE=0x100000 -fPIC -Ibuild/src.linux-x86_64-3.6/numpy/core/src/private -Inump
  662 root       0:00 /usr/libexec/gcc/x86_64-alpine-linux-musl/6.4.0/cc1 -quiet -I build/src.linux-x86_64-3.6/numpy/core/src/private -I numpy/core/include -I build/src.linux-x86_64-3.6/numpy/core/includ
  663 root       0:00 ps aux

如果我们稍微修改Dockerfile ：

FROM python:3.6.4-alpine3.7
RUN apk add --no-cache g++ wget
RUN wget https://pypi.python.org/packages/da/c6/0936bc5814b429fddb5d6252566fe73a3e40372e6ceaf87de3dec1326f28/pandas-0.22.0-cp36-cp36m-manylinux1_x86_64.whl
RUN pip install pandas-0.22.0-cp36-cp36m-manylinux1_x86_64.whl

我们得到以下错误：

Step 4/4 : RUN pip install pandas-0.22.0-cp36-cp36m-manylinux1_x86_64.whl
 ---> Running in 0faea63e2bda
pandas-0.22.0-cp36-cp36m-manylinux1_x86_64.whl is not a supported wheel on this platform.
The command '/bin/sh -c pip install pandas-0.22.0-cp36-cp36m-manylinux1_x86_64.whl' returned a non-zero code: 1

不幸的是，在 Alpine 映像上安装pandas的唯一方法是等到构建完成。

当然，如果您想在 CI 中使用带有pandas的 Alpine 映像，最好的方法是编译一次，将其推送到任何注册表并将其用作您需要的基础映像。

编辑：如果您想将 Alpine 图像与pandas一起使用，您可以拉取我的nickgryg/alpine-pandas docker图像。 它是一个在 Alpine 平台上预编译pandas的 python 图像。 它应该可以节省您的时间。

Answer 2

答案：截至 2020 年 3 月 9 日，对于 Python 3，它仍然没有！

这是一个完整的工作 Dockerfile：

FROM python:3.7-alpine
RUN echo "@testing http://dl-cdn.alpinelinux.org/alpine/edge/testing" >> /etc/apk/repositories
RUN apk add --update --no-cache py3-numpy py3-pandas@testing

该构建对确切的 python 和 alpine 版本号非常敏感——弄错这些似乎会引发 Max Levy 的错误so:libpython3.7m.so.1.0 (missing) ——但上面的内容现在对我有用。

我更新的 Dockerfile 可在https://gist.github.com/jtlz2/b0f4bc07ce2ff04bc193337f2327c13b获得

---

[较早更新：]

答案：它没有！

在任何 Alpine Dockerfile 中，您都可以简单地做*

RUN apk add py2-numpy@community py2-scipy@community py-pandas@edge

这是因为numpy 、 scipy和 now pandas都可以在alpine上预构建：

https://pkgs.alpinelinux.org/packages?name=*numpy

https://pkgs.alpinelinux.org/packages?name=*scipy&branch=edge

https://pkgs.alpinelinux.org/packages?name=*pandas&branch=edge

避免每次重建或使用 Docker 层的一种方法是使用预构建的原生 Alpine Linux/ .apk包，例如

https://github.com/sgerrand/alpine-pkg-py-pandas

https://github.com/nbgallery/apks

您可以一次构建这些.apk并在您喜欢的 Dockerfile 中的任何位置使用它们 :)

这也使您不必在事前将所有其他内容烘焙到 Docker 映像中 - 即可以灵活地预先构建您喜欢的任何 Docker 映像。

PS 我在https://gist.github.com/jtlz2/b0f4bc07ce2ff04bc193337f2327c13b放置了一个 Dockerfile 存根，大致显示了如何构建图像。 其中包括重要步骤 (*)：

RUN echo "@community http://dl-cdn.alpinelinux.org/alpine/edge/community" >> /etc/apk/repositories
RUN apk update
RUN apk add --update --no-cache libgfortran

Answer 3

在这里真正诚实的建议，切换到基于 Debian 的映像，然后您的所有问题都会消失。

用于 python 应用程序的 Alpine 不能很好地工作。

这是我的dockerfile的示例：

FROM python:3.7.6-buster

RUN pip install pandas==1.0.0
RUN pip install sklearn
RUN pip install Django==3.0.2
RUN pip install cx_Oracle==7.3.0
RUN pip install excel
RUN pip install djangorestframework==3.11.0

python:3.7.6-buster在这种情况下更合适，此外，您不需要操作系统中的任何额外依赖项。

关注一篇有用的最新文章： https ://pythonspeed.com/articles/alpine-docker-python/：

不要将 Alpine Linux 用于 Python 映像 除非您想要大大降低构建时间、更大的映像、更多的工作以及潜在的模糊错误，否则您将希望避免将 Alpine Linux 作为基础映像。 有关您应该使用什么的一些建议，请参阅我关于选择良好基础映像的文章。

Answer 4

只是将其中一些答案放在一个答案中，并添加一个我认为错过的细节。 某些 python 库，特别是优化的数学和数据库，在 alpine 上构建需要这么长时间的原因是因为这些库的 pip 轮包括从 c/c++ 预编译并链接到gnu-libc (glibc)的二进制文件，一组常见的 c标准库。 Debian、Fedora、CentOS 都（通常）使用glibc ，但 alpine 为了保持轻量级，使用musl-libc代替。 在glibc系统上构建的 c/c++ 二进制文件将无法在没有glibc的系统上运行，同样适用于musl 。

Pip 首先查找具有正确二进制文件的轮子，如果找不到，它会尝试从 c/c++ 源代码编译二进制文件并将它们与 musl 链接。 在许多情况下，除非您拥有来自python3-dev的 python 头文件或诸如make之类的构建工具，否则这甚至都行不通。

现在，正如其他人所提到的，有一线希望，社区提供了带有适当二进制文件的apk包，使用这些包可以为您节省构建二进制文件的（有时是冗长的）过程。

实际上，您可以在 alpine 上从纯 python .whl进行安装，但是在撰写本文时，由于musl/gnu问题， manylinux不支持 alpine 的二进制分发。

Answer 5

注意力
查看@jtlz2最新更新的答案

过时的

因此，py3-pandas 和 py3-numpy 软件包已移至测试 alpine 存储库，因此，您可以通过将以下行添加到 Dockerfile 来下载它：

RUN echo "http://dl-8.alpinelinux.org/alpine/edge/testing" >> /etc/apk/repositories \
  && apk update \
  && apk add py3-numpy py3-pandas

希望它可以帮助某人！

高山包链接：
- py3-熊猫
- py3-numpy

高山存储库停靠信息。

Answer 6

在这种情况下，alpine 不是将 alpine 更改为 slim 的最佳解决方案：

FROM python:3.8.3-alpine

改为：

FROM python:3.8.3-slim

就我而言，这个小改动就解决了。

Answer 7

这对我有用：

FROM python:3.8-alpine
RUN echo "@testing http://dl-cdn.alpinelinux.org/alpine/edge/testing" >> /etc/apk/repositories
RUN apk add --update --no-cache py3-numpy py3-pandas@testing
ENV PYTHONPATH=/usr/lib/python3.8/site-packages

COPY . /app
WORKDIR /app

RUN pip install -r requirements.txt

EXPOSE 5003 
ENTRYPOINT [ "python" ] 
CMD [ "app.py" ]

这里的大部分代码来自同一线程的jtlz2和另一个线程的Faylixe的答案。

事实证明，在 Alpine 存储库py3-numpy中可以找到更轻的 pandas 版本，但它没有安装在 Python 默认读取导入的相同文件路径中。 因此，您需要添加ENV 。 还要注意高山版本。

Answer 8

pandas被认为是社区支持的包，因此指向edge/testing的答案将不起作用，因为 Alpine 并未正式支持 pandas 作为核心包（它仍然有效，只是核心 Alpine 开发人员不支持）。

试试这个 Dockerfile：

FROM python:3.8-alpine
RUN echo "@community http://dl-cdn.alpinelinux.org/alpine/edge/community" >> /etc/apk/repositories \
&& apk add py3-pandas@community
ENV PYTHONPATH="/usr/lib/python3.8/site-packages"

这也适用于香草 Alpine 图像，使用FROM alpine:3.12 。

---

更新：感谢@cegprakash 提出有关如何使用此设置的问题，当您在容器内还有一个requirements.txt文件时必须满足。

我在 Dockerfile 片段中添加了一行，以将PYTHONPATH变量导出到容器运行时。 如果你这样做， pandas或numpy是否包含在需求文件中都没有关系（只要它们与通过apk安装的相同版本挂钩）。

需要这样做的原因是apk在/usr/lib下安装了py3-pands@community包，但该位置不在pip在安装新包之前检查的默认PYTHONPATH上。 如果我们不包括这一步来添加它， pip和python将找不到包， pip将尝试下载并安装它到/usr/local下，这是我们试图避免的。

鉴于我们确实想确保pip不会尝试安装pandas ，如果您已经使用上述方法使用apk安装了pandas或numpy ，我建议不要在requirements.txt文件中包含它们。 事情会按预期进行只是一点额外的保险。

Answer 9

我已经通过一些额外的更改解决了安装问题：

要求

• 从python3.8-alpine迁移到python3.10-alpine ：

docker pull python:3.10-alpine

重要的！

我不得不迁移，因为当我安装py3-pandas时，它将包安装为python3.10 ，而不是我使用的所需版本python3.8 ）。

要确定软件包库的安装位置，可以使用以下命令进行检查：

 apk info -L py3-pandas

• 从python3.9开始不安装backports.zoneinfo包（我必须在requirements.txt中添加一个条件来安装版本低于3.9的包）。

backports.zoneinfo==0.2.1;python_version<"3.9"

安装

在前面的更改之后，我继续安装panda执行以下操作：

• 将 3 个附加存储库添加到/etc/apk/repositories （存储库可能因发行版的版本而异），请在此处参考：

for x in $(echo "main community testing"); \
    do echo "https://dl-cdn.alpinelinux.org/alpine/edge/${x}" >> /etc/apk/repositories; \
    done

• 验证文件/etc/apk/repositories的内容：

$ cat /etc/apk/repositories
https://dl-cdn.alpinelinux.org/alpine/v3.16/main
https://dl-cdn.alpinelinux.org/alpine/v3.16/community
https://dl-cdn.alpinelinux.org/alpine/edge/main
https://dl-cdn.alpinelinux.org/alpine/edge/community
https://dl-cdn.alpinelinux.org/alpine/edge/testing

• 执行安装pandas （ pynum作为pandas的依赖项自动安装）：

sudo apk update && sudo apk add py3-pandas

• 设置环境变量PYTHONPATH ：

export PYTHONPATH=/usr/lib/python3.10/site-packages/

• 验证可以导入包（在我的案例中，我使用 django 对其进行了测试）：

python manage.py shell 

import pandas as pd
import numpy as np
technologies =  ['Spark','Pandas','Java','Python', 'PHP']
fee = [25000,20000,15000,15000,18000]
duration = ['5o Days','35 Days',np.nan,'30 Days', '30 Days']
discount = [2000,1000,800,500,800]
columns=['Courses','Fee','Duration','Discount']
df = pd.DataFrame(list(zip(technologies,fee,duration,discount)), columns=columns)
print(df)

Answer 10

alpine 安装 pandas 需要很多时间，而且图像大小也很大。 我尝试了 python:3.8-slim-buster 版本的 python 基础映像。 与 alpine python docker image 相比，图像构建速度非常快，图像大小不到一半

https://github.com/dguyhasnoname/k8s-cluster-checker/blob/master/Dockerfile