如何在 python (anaconda) 中使用旧版本的 GLIBC？

Question

我正在运行一个 python 脚本，它在集群上提交一个 pyspark 作业。 但是，该作业因 GLIBC 问题而失败。

Log Contents:
dev-env/bin/python: /lib64/libc.so.6: version 'GLIBC_2.14' not found (required by dev-env/bin/python)
dev-env/bin/python: /lib64/libc.so.6: version 'GLIBC_2.17' not found (required by dev-env/bin/python)

我认为问题在于我机器上的 GLIBC 版本是 2.17。 pyspark 集群上的 GLIBC 版本是 2.10。 我通过打开 python 并运行命令获得了这个

>>> import platform
>>> platform.libc_ver()
('glibc', '2.17') # This is my machine 

解决此问题的一种方法 IMO 是确保我机器上的 python 使用 GLIBC 2.10。 但是，我不知道该怎么做。 我正在使用 anaconda 创建 python 虚拟环境。 我应该如何处理这个问题？

Answer 1

如何在 python (anaconda) 中使用旧版本的 GLIBC？

您的问题不在于您的pyspark在您的机器上使用 GLIBC-2.17。 您的问题是您的pyspark是针对 GLIBC-2.17（或更高版本）构建的。

您需要下载一个不同版本的pyspark ，一个适合在 GLIBC-2.10 机器上运行的版本。 这样的版本将在 GLIBC-2.10和所有更高版本上运行良好。