[英]How to organize multiple python files into a single module without it behaving like a package?
有没有办法使用__init__.py
将多个文件组织到一个模块中?
原因:模块比包更容易使用,因为它们没有那么多层的命名空间。
通常它会打包,我明白了。 问题出在一个包上,“import thepackage”给了我一个空的命名空间。 然后,用户必须要么使用“from thepackage import *”(不赞成),要么确切地知道其中包含什么并手动将其拉出到可用的命名空间中。
我想要的是用户执行“导入包”并拥有看起来像这样的漂亮干净的命名空间,公开与项目相关的函数和类以供使用。
current_module
\
doit_tools/
\
- (class) _hidden_resource_pool
- (class) JobInfo
- (class) CachedLookup
- (class) ThreadedWorker
- (Fn) util_a
- (Fn) util_b
- (Fn) gather_stuff
- (Fn) analyze_stuff
维护者的工作是避免在不同的文件中定义相同的名称,当项目像我这样小时,这应该很容易。
如果人们可以from doit_stuff import JobInfo
并让它检索类,而不是包含该类的模块,那也很好。
如果我的所有代码都在一个巨大的文件中,这很容易,但我喜欢在事情开始变大时进行组织。 我在磁盘上的内容看起来像这样:
place_in_my_python_path/
doit_tools/
__init__.py
JobInfo.py
- class JobInfo:
NetworkAccessors.py
- class _hidden_resource_pool:
- class CachedLookup:
- class ThreadedWorker:
utility_functions.py
- def util_a()
- def util_b()
data_functions.py
- def gather_stuff()
- def analyze_stuff()
我只将它们分开,所以我的文件不会很大且无法导航。 它们都是相关的,尽管有人(可能是我)可能想自己使用这些类而不导入所有内容。
我在各个线程中阅读了许多建议,以下是我可以找到的有关如何执行此操作的每个建议的情况:
如果我不使用__init__.py
,我将无法导入任何内容,因为 Python 不会从 sys.path 进入文件夹。
如果我使用空白__init__.py
,当我import doit_tools
时,它是一个空的命名空间,其中没有任何内容。 我的文件都没有导入,这使得它更难使用。
如果我在__all__
中列出子模块,我可以使用(皱眉?) from thing import *
语法,但我所有的类都在不必要的命名空间障碍后面。 用户必须(1)知道他们应该使用from x import *
而不是import x
,(2)手动重新洗牌,直到他们可以合理地遵守线宽样式约束。
如果我将from thatfile import X
语句添加到__init__.py
,我会更接近,但我有命名空间冲突(?)和额外的命名空间,用于我不想在那里的东西。 在下面的示例中,您将看到:
<class 'doit_tools.JobInfo.JobInfo'>
。 (doit_tools.JobInfo 是一个类,但 doit_tools.JobInfo.JobInfo 是同一个类......这很纠结,看起来很糟糕,但似乎没有破坏任何东西。).
current_module
\
doit_tools/
\
- (module) JobInfo
\
- (class) JobInfo
- (class) JobInfo
- (module) NetworkAccessors
\
- (class) CachedLookup
- (class) ThreadedWorker
- (class) CachedLookup
- (class) ThreadedWorker
- (module) utility_functions
\
- (Fn) util_a
- (Fn) util_b
- (Fn) util_a
- (Fn) util_b
- (module) data_functions
\
- (Fn) gather_stuff
- (Fn) analyze_stuff
- (Fn) gather_stuff
- (Fn) analyze_stuff
同样,仅导入数据抽象类的人在执行“from doit_tools import JobInfo”时会得到与他们预期不同的东西:
current_namespace
\
JobInfo (module)
\
-JobInfo (class)
instead of:
current_namespace
\
- JobInfo (class)
那么,这只是组织 Python 代码的错误方式吗? 如果不是,那么将相关代码拆分但仍以类似模块的方式收集它的正确方法是什么?
也许最好的情况是执行'from doit_tools import JobInfo'对于使用该包的人来说有点混乱?
也许是一个名为'api'的python文件,以便使用该代码的人执行以下操作?:
import doit_tools.api
from doit_tools.api import JobInfo
============================================
回应评论的例子:
在 python 路径中的文件夹 'foo' 中获取以下包内容。
foo/__init__.py
__all__ = ['doit','dataholder','getSomeStuff','hold_more_data','SpecialCase']
from another_class import doit
from another_class import dataholder
from descriptive_name import getSomeStuff
from descriptive_name import hold_more_data
from specialcase import SpecialCase
foo/specialcase.py
class SpecialCase:
pass
foo/more.py
def getSomeStuff():
pass
class hold_more_data(object):
pass
foo/stuff.py
def doit():
print "I'm a function."
class dataholder(object):
pass
做这个:
>>> import foo
>>> for thing in dir(foo): print thing
...
SpecialCase
__builtins__
__doc__
__file__
__name__
__package__
__path__
another_class
dataholder
descriptive_name
doit
getSomeStuff
hold_more_data
specialcase
another_class
和descriptive_name
把东西弄得乱七八糟,并且在它们的命名空间下还有额外的doit() 副本。
如果我在名为 Data.py 的文件中有一个名为 Data 的类,当我执行“从数据导入数据”时,我会遇到命名空间冲突,因为 Data 是当前命名空间中的一个类,它位于模块 Data 中,不知何故也在当前命名空间。 (但 Python 似乎能够处理这个问题。)
你可以这样做,但这并不是一个好主意,而且你正在与 Python 模块/包的工作方式作斗争。 通过在__init__.py
中导入适当的名称,您可以使它们在包命名空间中可访问。 通过删除模块名称,您可以使它们无法访问。 (有关为什么需要删除它们,请参阅此问题)。 所以你可以接近你想要的东西(在__init__.py
中):
from another_class import doit
from another_class import dataholder
from descriptive_name import getSomeStuff
from descriptive_name import hold_more_data
del another_class, descriptive_name
__all__ = ['doit', 'dataholder', 'getSomeStuff', 'hold_more_data']
但是,这将破坏后续import package.another_class
的尝试。 通常,如果不将package.module
作为对该模块的可导入引用进行访问,则无法从package.module
导入任何内容(尽管使用__all__
您可以from package import *
进行控制)。
更一般地说,通过按类/函数拆分代码,您正在使用 Python 包/模块系统。 Python 模块通常应该包含您想要作为一个单元导入的内容。 为了方便起见,直接在顶级包命名空间中导入子模块组件并不少见,但反过来——试图隐藏子模块并只允许通过顶级包命名空间访问它们的内容——将导致到问题。 此外,尝试“清理”模块的包命名空间没有任何好处。 这些模块应该在包命名空间中; 那是他们所属的地方。
在__init__.py
中定义__all__ = ['names', 'that', 'are', 'public']
例如:
__all__ = ['foo']
from ._subpackage import foo
真实世界的例子: numpy/__init__.py
。
你对 Python 包的工作方式有一些误解:
如果我不使用
__init__.py
,我将无法导入任何内容,因为 Python 不会从 sys.path 进入文件夹。
在 Python 3.3 之前的 Python 版本中,您需要__init__.py
文件来将目录标记为包含 Python 包。
如果我使用空白
__init__.py
,当我导入 doit_tools 时,它是一个空的命名空间,其中没有任何内容。 我的文件都没有导入,这使得它更难使用。
它不会阻止导入:
from doit_tools import your_module
它按预期工作。
如果我在
__all__
中列出子模块,我可以使用(皱眉?)from thing import *
语法,但我所有的类都在不必要的命名空间障碍后面。 用户必须(1)知道他们应该使用from x import *
而不是import x
,(2)手动重新洗牌,直到他们可以合理地遵守线宽样式约束。
(1) 您的用户(在大多数情况下)不应在交互式 Python shell 之外使用from your_package import *
。
(2) 你可以使用()
来打断很长的导入行:
from package import (function1, Class1, Class2, ..snip many other names..,
ClassN)
如果我将
from thatfile import X
语句添加到__init__.py
,我会更接近,但我有命名空间冲突(?)和额外的命名空间,用于我不想在那里的东西。
由您来解决命名空间冲突(具有相同名称的不同对象)。 该名称可以引用任何对象:整数、字符串、包、模块、类、函数等。Python 无法知道您可能更喜欢哪个对象,即使在这种特殊情况下忽略某些名称绑定也会不一致关于在所有其他情况下使用名称绑定。
要将名称标记为非公开,您可以在它们前面加上_
例如package/_nonpublic_module.py
。
隐藏包的子结构有完全正当的理由(不仅在调试时)。 其中包括便利性和效率。 当试图用一个包做一个快速原型时,不得不打断思路只是为了查找完全无用的信息,即特定函数或类的确切子模块可能是什么,这是非常烦人的。
当一切都在包的顶层可用时,成语:
python -c 'import pkg; help(pkg)'
显示整个帮助,而不仅仅是一些微不足道的模块名称。
您可以随时关闭生产代码的子模块导入,或在开发后清理包模块。
以下是我迄今为止想出的最好的方法。 它在尽量不抑制有效错误的同时最大限度地提高便利性。 另请参阅带有 doctest 文档的完整源代码。
定义要导入的包名和子模块以避免容易出错的重复:
_package_ = 'flat_export'
_modules_ = ['sub1', 'sub2', 'sub3']
在可用时使用相对导入(这是必要的,请参阅is_importing_package
):
_loaded = False
if is_importing_package(_package_, locals()):
for _module in _modules_:
exec ('from .' + _module + ' import *')
_loaded = True
del(_module)
尝试导入包,包括__all__
。
当在搜索路径中使用包执行模块文件作为脚本时会发生这种情况(例如python flat_export/__init__.py
)
if not _loaded:
try:
exec('from ' + _package_ + ' import *')
exec('from ' + _package_ + ' import __all__')
_loaded = True
except (ImportError):
pass
作为最后的手段,尝试直接导入子模块。
当在包目录中执行模块文件作为脚本时会发生这种情况,而搜索路径中没有包(例如cd flat_export; python __init__.py
)。
if not _loaded:
for _module in _modules_:
exec('from ' + _module + ' import *')
del(_module)
构造__all__
(省略模块),除非它之前已导入:
if not __all__:
_module_type = type(__import__('sys'))
for _sym, _val in sorted(locals().items()):
if not _sym.startswith('_') and not isinstance(_val, _module_type) :
__all__.append(_sym)
del(_sym)
del(_val)
del(_module_type)
这是函数is_importing_package
:
def is_importing_package(_package_, locals_, dummy_name=None):
""":returns: True, if relative package imports are working.
:param _package_: the package name (unfortunately, __package__
does not work, since it is None, when loading ``:(``).
:param locals_: module local variables for auto-removing function
after use.
:param dummy_name: dummy module name (default: 'dummy').
Tries to do a relative import from an empty module `.dummy`. This
avoids any secondary errors, other than::
ValueError: Attempted relative import in non-package
"""
success = False
if _package_:
import sys
dummy_name = dummy_name or 'dummy'
dummy_module = _package_ + '.' + dummy_name
if not dummy_module in sys.modules:
import imp
sys.modules[dummy_module] = imp.new_module(dummy_module)
try:
exec('from .' + dummy_name + ' import *')
success = True
except:
pass
if not 'sphinx.ext.autodoc' in __import__('sys').modules:
del(locals_['is_importing_package'])
return success
python不是java。 模块文件名不需要与类名相同。 事实上,python 建议使用全部小写的模块文件名。
同样“从数学导入 sqrt”只会将 sqrt 添加到命名空间,而不是数学。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.