Numpy和静态链接

Question

我在一个大型集群上运行Spark程序（为此，我没有管理权限）。 numpy未安装在工作节点上。 因此，我将numpy与我的程序捆绑在一起，但是我收到以下错误：

Traceback (most recent call last):
  File "/home/user/spark-script.py", line 12, in <module>
    import numpy
  File "/usr/local/lib/python2.7/dist-packages/numpy/__init__.py", line 170, in <module>
  File "/usr/local/lib/python2.7/dist-packages/numpy/add_newdocs.py", line 13, in <module>
  File "/usr/local/lib/python2.7/dist-packages/numpy/lib/__init__.py", line 8, in <module>
  File "/usr/local/lib/python2.7/dist-packages/numpy/lib/type_check.py", line 11, in <module>
  File "/usr/local/lib/python2.7/dist-packages/numpy/core/__init__.py", line 6, in <module>
ImportError: cannot import name multiarray

该脚本实际上非常简单：

from pyspark import SparkConf, SparkContext
sc = SparkContext()

sc.addPyFile('numpy.zip')

import numpy

a = sc.parallelize(numpy.array([12, 23, 34, 45, 56, 67, 78, 89, 90]))
print a.collect()

我知道发生错误是因为numpy动态加载multiarray.so依赖项，即使我的numpy.zip文件包含multiarray.so文件，动态加载也不能用于Apache Spark 。 为什么这样？ 那你怎么用静态链接创建一个独立的numpy模块呢？

谢谢。

Answer 1

您的方法至少存在两个问题，并且两者都可以简化为NumPy是重量级依赖的简单事实。

• 首先，Debian软件包带有多个依赖libgfortran ，包括libgfortran ， libblas ， liblapack和libquadmath 。 因此，您不能简单地复制NumPy安装并期望事情会起作用（说实话，如果不是这样的话，您不应该做这样的事情）。 从理论上讲，你可以尝试使用静态链接来构建它，这样就可以将它与所有依赖项一起发布，但它会遇到第二个问题。

• NumPy本身就很大。 虽然20MB看起来并不是特别令人印象深刻，并且所有依赖项不应该超过40MB，但每次开始工作时都必须将其运送给工人。 你拥有的工人越多，就越糟糕。 如果您决定需要SciPy或SciKit，它可能会变得更糟。

可以说这使得NumPy成为pyFile方法的一个非常糟糕的候选者。

如果您没有直接访问工作者但是存在所有依赖项（包括头文件和静态库），您可以简单地尝试在任务本身的用户空间中安装NumPy（它假设也安装了pip ） ）有这样的事情：

try:
    import numpy as np

expect ImportError:
    import pip
    pip.main(["install", "--user", "numpy"])
    import numpy as np

您将在如何在运行时安装和导入Python模块中找到此方法的其他变体？

由于您可以访问工作人员，因此更好的解决方案是创建单独的Python环境。 可能最简单的方法是使用Anaconda ，它也可用于打包非Python依赖项，并且不依赖于系统范围的库。 您可以使用Ansible或Fabric等工具轻松自动执行此任务，它不需要管理权限，您真正需要的只是bash和某种方式来获取基本安装程序（wget，curl，rsync，scp）。

另请参阅： 将pyspark中的python模块发送到其他节点？