当 pip 安装带有 --prefix 和 -e 的本地 package 时的奇怪之处。 importlib.metadata 的潜在错误未正确跟随.egg-link to.egg-info

Question

更新从所有帐户看来，python 3.8-3.10 没有正确遵循 .egg-link 或 easy-install.pth 存根来获取 .egg-info 元数据。 不知道为什么。 尝试使用 brew 安装 python 3.10.1 并且在 .egg-link 或 easy-install.pth 文件之后的 importlib.metadata 也存在问题，以正确查找.egg-info 元数据，尽管有 .egg-link 和易于安装。 pth 在 $PYTHONPATH 中

背景：我们的 CentOS 8 台服务器在工作中安装了python 3.6.8 （使用 pip 9.0.3）。 在处理项目时，我们使用模块实用程序加载特定版本的程序，包括python 3.8.3 （与 pip 20.2.2）。 项目目录下是它自己的bin/ 、 lib/等。这允许我们将项目特定的 python 包安装到这些项目目录中。 其中有一个内部开发的 package，我们用它来管理我们的项目，并借助这个 package 的 console_scripts 入口点来管理我们的项目。 这个内部开发的 package 在带有 git 的 VCS 下，可以在项目的生命周期内进行编辑。 因此，在此项目的上下文中工作时，我们希望能够编辑此 python package 的源代码，同时将其安装在本地，以便可以使用其控制台脚本。 这只是pip install --prefix project_dir -e pkg_src_dir的用例

问题是，这适用于 python 3.6.8 但不适用于 python 3.8.3，这是我们实际用于项目的。 而且我不确定这是否是特定版本的 importlib.metadata 的错误，包括 python 3.8.3。

我创建了一个虚拟的 Hello World package 来尝试调试它。 mypkg.py 定义了一个打印 Hello World 的 function。 main .py 的 main() function 调用 mypkg 的 Hello World 打印 function。 简单，这个结构遵循python.org自己的打包教程。

mypkg/
├── setup.py
└── src/
   └── mypkg/
      ├── __init__.py
      ├── mypkg.py
      └── __main__.py

使用python 3.6.8及其 pip 9.0.3， pip install --prefix project_dir -e mypkg就像您期望的那样工作。 project_dir/lib/python-3.6.8/site-packages包含指向mypkg/src目录的mypkg.egg-link文件。 在project_dir/bin中是mypkg控制台脚本。

#!/usr/bin/python3.6
# EASY-INSTALL-ENTRY-SCRIPT: 'mypkg','console_scripts','mypkg'
__requires__ = 'mypkg'
import re
import sys
from pkg_resources import load_entry_point

if __name__ == '__main__':
    sys.argv[0] = re.sub(r'(-script\.pyw?|\.exe)?$', '', sys.argv[0])
    sys.exit(
        load_entry_point('mypkg', 'console_scripts', 'mypkg')()
    )

通过将project_dir/lib/python-3.6/site-packages目录添加到$PYTHONPATH ，我可以毫无问题地运行这个控制台脚本mypkg并让它打印 Hello World。 我什至可以使用python 3.8.3直接使用该版本的 python python-3.8.3./mypkg运行此控制台脚本。 这是因为，正如我后来发现的那样，因为它使用的是 pkg_resources 中较旧的 load_entry_point function，而不是 importlib.metadata 中的较新版本。

但是，如果我尝试以完全相同的方式安装相同的 package 和python 3.8.3 ，控制台脚本将无法运行。 这是在将$PYTHONPATH更新为project_dir/lib/python-3.8/site-packages之后。

Traceback (most recent call last):
  File "./mypkg", line 33, in <module>
    sys.exit(load_entry_point('mypkg', 'console_scripts', 'mypkg')())
  File "./mypkg", line 22, in importlib_load_entry_point
    for entry_point in distribution(dist_name).entry_points
  File "/tools/conda/anaconda3/2020.07/lib/python3.8/importlib/metadata.py", line 504, in distribution
    return Distribution.from_name(distribution_name)
  File "/tools/conda/anaconda3/2020.07/lib/python3.8/importlib/metadata.py", line 177, in from_name
    raise PackageNotFoundError(name)
importlib.metadata.PackageNotFoundError: mypkg

控制台脚本存根有很大不同，这些更改与使用 importlib.metadata 提供 load_entry_point function 有关。

#!/tools/conda/anaconda3/2020.07/bin/python
# EASY-INSTALL-ENTRY-SCRIPT: 'mypkg','console_scripts','mypkg'
import re
import sys

# for compatibility with easy_install; see #2198
__requires__ = 'mypkg'

try:
    from importlib.metadata import distribution
except ImportError:
    try:
        from importlib_metadata import distribution
    except ImportError:
        from pkg_resources import load_entry_point


def importlib_load_entry_point(spec, group, name):
    dist_name, _, _ = spec.partition('==')
    matches = (
        entry_point
        for entry_point in distribution(dist_name).entry_points
        if entry_point.group == group and entry_point.name == name
    )
    return next(matches).load()


globals().setdefault('load_entry_point', importlib_load_entry_point)


if __name__ == '__main__':
    sys.argv[0] = re.sub(r'(-script\.pyw?|\.exe)?$', '', sys.argv[0])
    sys.exit(load_entry_point('mypkg', 'console_scripts', 'mypkg')())

有趣的是，这个控制台脚本在直接与python 3.6.8二进制文件一起运行时可以工作。 编辑：这是有道理的，因为它回退到加载较旧的 pkg_resources 版本的 load_entry_point，因为围绕导入的所有尝试尽管两个安装在其 sys.path 搜索中共享相同的本地路径（即project_dir/lib/python-3.8/site-packages ）。 只有它们的系统/安装特定路径不同，不应找到本地mypkg 。

我还发现，如果我将python 3.6.8控制台脚本中的from pkg_resources import load_entry_point行添加到python 3.8.3控制台脚本中，则在使用 Z23EEEB374347BDD755DDA6 EEEB378.47BDD755BFC6B7EE9A3B755DDZ 3.8.3控制台脚本运行该脚本时，我不再遇到错误编辑：这又完全有意义，因为问题的根源与 importlib.metadata

这是我的setup.py以进行全面披露。 我不确定是否可以添加一些东西来解决这个问题，以便 python 3.8.3 可以运行 --prefix --editable pip 安装包。

import setuptools

setuptools.setup(
    name="mypkg",
    version="0.1.0",
    entry_points = {
        'console_scripts': ['mypkg=mypkg.__main__:main']
    },
    package_dir={"": "src"},
    packages=setuptools.find_packages(where="src"),
    python_requires=">=3.6",
)

更新因此，在对此进行了更多研究之后，很明显是带有 python 3.8.3 的 importlib.metadata 模块导致了此问题。 它适用于较旧的from pkg_resources import load_entry_point但不适用于from importlib.metadata import distribution 。 我发现如果我将源mypkg package 路径添加到我的$PYTHONPATH ，我可以让它工作。 这大概是因为它在那里找到了mypkg.egg-info目录。 但是，在可编辑模式下，如何让 importlib.metadata 找到 mypkg 元数据而无需添加原始源目录？

Answer 1

有关此问题的更多详细信息和可行的解决方案，请查看

https://github.com/python/importlib_metadata/issues/364

基本上，您需要在 --prefix site-packages目录中创建一个sitecustomize.py文件（您也已将其添加到$PYTHONPATH ）。 sitecustomize.py是自动加载的，可用于 append 路径到sys.path

import os
import io
import sys

try:
    names = os.listdir('.')
except OSError:
    pass

names = [name for name in names if name.endswith(".pth")]
for name in sorted(names):
    try:
        f = io.TextIOWrapper(io.open_code(name), encoding="utf-8")
    except OSError:
        pass
    with f:
        for n, line in enumerate(f):
            if line.startswith("#"):
                continue
            if line.strip() == "":
                continue
            try:
                if line.startswith(("import ", "import\t")):
                    exec(line)
                    continue
                line = line.rstrip()
                if os.path.exists(line):
                    sys.path.append(line)
            except Exception:
                print("Error processing line {:d} of {}:\n".format(n+1, name),
                      file=sys.stderr)
                import traceback
                for record in traceback.format_exception(*sys.exc_info()):
                    for line in record.splitlines():
                        print('  '+line, file=sys.stderr)
                print("\nRemainder of file ignored", file=sys.stderr)
                break