引导操作后 EMR 上的导入错误

Question

我在 EMR 集群上运行引导操作，在运行完需求文本文件后，我正在检查 numpy 版本：

sudo python3 -c "try:
    import numpy
    print(\"numpy_version\", numpy.version.version)
except:
    pass"

我得到了需求文本文件 (1.15.4) 中指定的正确版本； 然而，在作业开始运行后，我得到：

ImportError: Matplotlib requires numpy>=1.15; you have 1.14.5

在引导操作和恢复 numpy 版本的作业步骤之间究竟发生了什么？

Answer 1

这表明应用程序配置降级了 numpy 的版本

此问题的解决方法是使用启动另一个后台进程的引导操作。

后台进程应升级 numpy 的版本，并应在应用程序配置后立即运行。