安装后出现“ModuleNotFoundError” python package

Question

问题总结

我是 python package 开发的新手。 我开发了一个 package 并将其发布在 TestPyPI 上。 我安装这个 package 槽pip没有错误。 但是，当我尝试导入时，python 给出了“ModuleNotFoundError”，我不知道为什么。 有人能帮我吗？

复制步骤

首先，我安装 package：

pip install -i https://test.pypi.org/simple/ spark-map==0.2.76

然后，我打开一个新终端，启动 python 解释器，并尝试导入这个 package，但是 python 给我一个ModuleNotFoundError ：

>>> import spark_map
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ModuleNotFoundError: No module named 'spark_map'

我发现了什么

• 当我cd到 package 的根文件夹，打开 python 解释器，并运行import spark_map时，它工作正常，没有错误；

• 那个pip没有安装package成功； 但是我检查了这个。 当我安装 package 时，我没有收到任何错误消息，当我在pip install命令后运行pip list时，我在已安装包的列表中看到spark_map 。

> pip list
... many packages
spark-map                0.2.76
... more packages

• 安装spark_map的文件夹可以在模块搜索路径Python之外； 我也检查了这个。 pip正在将 package 安装在名为Python310\lib\site-packages的文件夹中，该文件夹包含在sys.path变量中：

>>> import sys
>>> for path in sys.path:
...     print(path)

C:\Users\pedro\AppData\Local\Programs\Python\Python310\python310.zip
C:\Users\pedro\AppData\Local\Programs\Python\Python310\DLLs
C:\Users\pedro\AppData\Local\Programs\Python\Python310\lib
C:\Users\pedro\AppData\Local\Programs\Python\Python310
C:\Users\pedro\AppData\Local\Programs\Python\Python310\lib\site-packages
C:\Users\pedro\AppData\Local\Programs\Python\Python310\lib\site-packages\win32
C:\Users\pedro\AppData\Local\Programs\Python\Python310\lib\site-packages\win32\lib
C:\Users\pedro\AppData\Local\Programs\Python\Python310\lib\site-packages\Pythonwin

系统信息

我在 Windows 10、Python 3.10.9 上，尝试安装和导入spark_map package，版本 0.2.76.( https://test.pypi.org/project/spark-map/ )。

有关代码的信息

package源代码托管在GitHub ，这个package的文件夹结构本质上是这样的：

root
│
├───spark_map
│   ├───__init__.py
│   ├───functions.py
│   └───mapping.py
│
├───tests
│   ├───functions
│   └───mapping
│
├───.gitignore
├───LICENSE
├───pyproject.toml
├───README.md
└───README.rst

package的pyproject.toml文件：

[build-system]
requires = ["setuptools>=61.0", "toml"]
build-backend = "setuptools.build_meta"

[project]
name = "spark_map"
version = "0.2.76"
authors = [
  { name="Pedro Faria", email="pedropark99@gmail.com" }
]
description = "Pyspark implementation of `map()` function for spark DataFrames"
readme = "README.md"
requires-python = ">=3.7"
license = { file = "LICENSE.txt" }
classifiers = [
    "Programming Language :: Python :: 3",
    "License :: OSI Approved :: MIT License",
    "Operating System :: OS Independent",
]

dependencies = [
    "pyspark",
    "setuptools",
    "toml"
]

[project.urls]
Homepage = "https://pedropark99.github.io/spark_map/"
Repo = "https://github.com/pedropark99/spark_map"
Issues = "https://github.com/pedropark99/spark_map/issues"


[tool.pytest.ini_options]
pythonpath = [
  "."
]


[tool.setuptools]
py-modules = []

我试过的

正如@Dorian Turba 建议的那样，我将源代码移到了src文件夹中。 现在，package 的结构是这样的：

root
├───src
│   └───spark_map
│       ├───__init__.py
│       ├───functions.py
│       └───mapping.py
│
├───tests
├───.gitignore
├───LICENSE
├───pyproject.toml
├───README.md
└───README.rst

之后，我执行python -m pip install -e. （此命令的日志在下图中）。 package编译安装成功。 但是，当我在不同的位置打开一个新终端并尝试运行python -c "import spark_map"时，我仍然遇到同样的错误。

我还尝试启动一个虚拟环境（使用python -m venv env ），并在该虚拟环境中安装 package （使用pip install -e. ）。 然后，我执行python -c "import spark_map" 。 但问题仍然存在。 我也执行pip list ，以检查是否安装了 package。 命令的完整日志如下图所示：

Answer 1

需要 src 文件夹

标准文件布局如下（ Python 文档：打包 Python 项目）：

 packaging_tutorial/ ├── LICENSE ├── pyproject.toml ├── README.md ├── src/ │ └── example_package_YOUR_USERNAME_HERE/ │ ├── __init__.py │ └── example.py └── tests/

您需要将 package 放在src文件夹中。

对于您的项目，它应该如下所示：

root
│
├───src/
│   └───spark_map/
│       ├───__init__.py
│       ├───functions.py
│       └───mapping.py
├───tests/
│   ├───functions
│   └───mapping
├───.gitignore
├───LICENSE
├───pyproject.toml
├───README.md
└───README.rst

您不需要构建一个 wheel 发行版来测试它，您可以使用 pip install 将 package 直接安装到您的pip install. （或者如果您希望可以直接访问更新而无需重新安装pip install -e. ，则在编辑模式下）。

Answer 2

问题的根源

问题的根源在于 package 的“构建过程”。换句话说， pip install正在安装“无效包”。

基本上，我使用 setuptools 构建 package。当我编译（或使用python -m build “构建”package 时，package 的源代码（即src目录的所有内容）未包含在编译的焦油档案。

使用设置工具修复

setuptools 的文档讨论了查找项目源代码的问题。 本质上，setuptools 没有找到 package 的源代码。所以我需要通过将这两个选项添加到我的pyproject.toml文件来帮助他找到这些文件：

[tool.setuptools]
packages = ["spark_map"]
package-dir = {"" = "src"}

你如何识别这个问题？

如果您在安装和导入 package 时遇到类似问题，您可能会遇到与我相同的问题。 要检查这是否是您的情况，请使用python -m build构建您的项目。 然后，打开您的 package 的源代码分发（即 TAR 存档），并检查源代码是否在这个 TAR 文件中。 如果不是，那么，您就有这个确切的问题。

Answer 3

将 Hatchling 与 src 文件夹中的源一起使用

将构建系统更改为孵化

[build-system]
requires = ["hatchling"]
build-backend = "hatchling.build"

您还需要像这个答案中解释的那样更改项目的布局： src folder is required 。

Answer 4

检查你使用了正确的 Python 环境

1. 如果您使用虚拟环境，请确保它已激活
2. 确保在此环境中安装了 package（使用pip list ）。