[英]`pickle`: yet another `ImportError: No module named my_module`
我在my_module
定义了一个MyClass
类。 MyClass
有一个方法pickle_myself
,它可以对相关类的实例进行腌制:
def pickle_myself(self, pkl_file_path):
with open(pkl_file_path, 'w+') as f:
pkl.dump(self, f, protocol=2)
我确保my_module
在PYTHONPATH
。 在解释器中,执行__import__('my_module')
可以正常工作:
>>> __import__('my_module')
<module 'my_module' from 'A:\my_stuff\my_module.pyc'>
但是,最终加载文件时,我得到:
File "A:\Anaconda\lib\pickle.py", line 1128, in find_class
__import__(module)
ImportError: No module named my_module
我已经确定的一些事项:
我尚未更改my_module.py
的位置( 更改模块目录后的Python酸洗 )
我尝试使用dill
代替,但仍然会遇到相同的错误( 有关python ImportError的更多信息,未命名模块 )
编辑-重现该错误的玩具示例:
该示例本身遍布一堆文件。
首先,我们有模块ball
(存储在名为ball.py
的文件中):
class Ball():
def __init__(self, ball_radius):
self.ball_radius = ball_radius
def say_hello(self):
print "Hi, I'm a ball with radius {}!".format(self.ball_radius)
然后,我们有了模块test_environment
:
import os
import ball
#import dill as pkl
import pickle as pkl
class Environment():
def __init__(self, store_dir, num_balls, default_ball_radius):
self.store_dir = store_dir
self.balls_in_environment = [ball.Ball(default_ball_radius) for x in range(num_balls)]
def persist(self):
pkl_file_path = os.path.join(self.store_dir, "test_stored_env.pkl")
with open(pkl_file_path, 'w+') as f:
pkl.dump(self, f, protocol=2)
然后,我们有了一个名为make_persist_load
的模块,该模块具有创建环境,持久化环境和加载环境的功能:
import os
import test_environment
#import pickle as pkl
import dill as pkl
def make_env_and_persist():
cwd = os.getcwd()
my_env = test_environment.Environment(cwd, 5, 5)
my_env.persist()
def load_env(store_path):
stored_env = None
with open(store_path, 'rb') as pkl_f:
stored_env = pkl.load(pkl_f)
return stored_env
然后在test_serialization.py
有一个脚本将它们放在一起:
import os
import make_persist_load
MAKE_AND_PERSIST = True
LOAD = (not MAKE_AND_PERSIST)
cwd = os.getcwd()
store_path = os.path.join(cwd, "test_stored_env.pkl")
if MAKE_AND_PERSIST == True:
make_persist_load.make_env_and_persist()
if LOAD == True:
loaded_env = make_persist_load.load_env(store_path)
为了使这个玩具示例易于使用, 我将其放在一个Github存储库中,只需将其克隆到您选择的目录中即可。 。 请参阅README
,其中包含说明,我也在此处复制说明:
说明:
1)将存储库克隆到目录中。
2)将存储库目录添加到PYTHONPATH。
3)打开test_serialization.py
,并将变量MAKE_AND_PERSIST
设置为True
。 在解释器中运行脚本。
4)关闭前一个解释器实例,然后启动一个新的实例。 在test_serialization.py
,将MAKE_AND_PERSIST
更改为False
,这将以编程方式将LOAD
设置为True
。 在解释器中运行脚本,导致ImportError: No module named test_environment
。
5)默认情况下,测试设置为使用莳萝而不是泡菜。 为了更改此设置,请进入test_environment.py
和make_persist_load.py
,以根据需要更改导入。
编辑:切换到莳萝'0.2.5.dev0'后,莳萝dill.detect.trace(True)
输出
C2: test_environment.Environment
# C2
D2: <dict object at 0x000000000A9BDAE8>
C2: ball.Ball
# C2
D2: <dict object at 0x000000000AA25048>
# D2
D2: <dict object at 0x000000000AA25268>
# D2
D2: <dict object at 0x000000000A9BD598>
# D2
D2: <dict object at 0x000000000A9BD9D8>
# D2
D2: <dict object at 0x000000000A9B0BF8>
# D2
# D2
编辑:玩具示例在Mac / Ubuntu(即类Unix系统?)上运行时效果很好。 它仅在Windows上失败。
从您的问题中我可以看出,您可能正在使用试图腌制该类实例的类方法来执行此类操作。 这样做是不明智的,如果您正在这样做的话……在类外部使用pkl.dump
代替(在pkl
是pickle
或dill
等的情况下)更加理智。 然而,它仍然可以使用这样的设计工作,见下图:
>>> class Thing(object):
... def pickle_myself(self, pkl_file_path):
... with open(pkl_file_path, 'w+') as f:
... pkl.dump(self, f, protocol=2)
...
>>> import dill as pkl
>>>
>>> t = Thing()
>>> t.pickle_myself('foo.pkl')
然后重新启动...
Python 2.7.10 (default, Sep 2 2015, 17:36:25)
[GCC 4.2.1 Compatible Apple LLVM 5.1 (clang-503.0.40)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import dill
>>> f = open('foo.pkl', 'r')
>>> t = dill.load(f)
>>> t
<__main__.Thing object at 0x1060ff410>
如果您确定有一个更加复杂的类(我敢肯定会这样做),那么您很可能会遇到麻烦,尤其是如果该类使用位于同一目录中的另一个文件时。
>>> import dill
>>> from bar import Zap
>>> print dill.source.getsource(Zap)
class Zap(object):
x = 1
def __init__(self, y):
self.y = y
>>>
>>> class Thing2(Zap):
... def pickle_myself(self, pkl_file_path):
... with open(pkl_file_path, 'w+') as f:
... dill.dump(self, f, protocol=2)
...
>>> t = Thing2(2)
>>> t.pickle_myself('foo2.pkl')
然后重新启动…
Python 2.7.10 (default, Sep 2 2015, 17:36:25)
[GCC 4.2.1 Compatible Apple LLVM 5.1 (clang-503.0.40)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import dill
>>> f = open('foo2.pkl', 'r')
>>> t = dill.load(f)
>>> t
<__main__.Thing2 object at 0x10eca8090>
>>> t.y
2
>>>
好吧...拍摄,也可以。 您必须发布代码,这样我们才能看到您使用该dill
(和pickle
)失败的模式。 我知道让一个模块导入另一个未“安装”的模块(即在某个本地目录中),并且期望序列化“正常工作”并不适用于所有情况。
请参阅dill
问题: https : //github.com/uqfoundation/dill/issues/128 https://github.com/uqfoundation/dill/issues/129和以下SO问题: 为什么莳萝通过引用转储外部类,无论如何? 有关失败和潜在解决方法的一些示例。
编辑有关更新的问题:
我看不到您的问题。 从命令行运行,从解释器import test_serialization
( import test_serialization
),然后在解释器中运行脚本(如下所示,并在步骤3-5中指出),所有工作都可以进行。 那使我认为您可能正在使用旧版本的dill
?
>>> import os
>>> import make_persist_load
>>>
>>> MAKE_AND_PERSIST = False #True
>>> LOAD = (not MAKE_AND_PERSIST)
>>>
>>> cwd = os.getcwd()
>>> store_path = os.path.join(cwd, "test_stored_env.pkl")
>>>
>>> if MAKE_AND_PERSIST == True:
... make_persist_load.make_env_and_persist()
...
>>> if LOAD == True:
... loaded_env = make_persist_load.load_env(store_path)
...
>>>
根据评论中的讨论进行编辑 :
看来这可能是Windows的问题,因为这似乎是出现错误的唯一操作系统。
经过一些工作后进行编辑 (请参阅: https : //github.com/uqfoundation/dill/issues/140 ):
使用这个最小的示例,我可以在Windows上重现相同的错误,而在MacOSX上它仍然可以工作……
# test.py
class Environment():
def __init__(self):
pass
和
# doit.py
import test
import dill
env = test.Environment()
path = "test.pkl"
with open(path, 'w+') as f:
dill.dump(env, f)
with open(path, 'rb') as _f:
_env = dill.load(_f)
print _env
但是,如果将open(path, 'r') as _f
,则它可以在Windows和MacOSX上使用。 因此,与非Windows系统相比,Windows上的__import__
对文件类型更敏感。 尽管如此,抛出ImportError
还是很奇怪的……但是这一小小的改动应该可以使它工作。
如果有人遇到相同的问题,我在运行Python 2.7时也会遇到同样的问题,而问题是在我运行Linux时在Windows上创建的pickle文件,我要做的是运行dos2unix ,必须先使用dos2unix下载
sudo yum install dos2unix
然后您需要转换pickle文件示例
dos2unix data.p
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.