读取/写入/更新 object，无需将 object 加载到 memory

Question

我一直在尝试使用 Klepto package 将我的 object 写入/读取/更新到硬盘，旨在避免我在使用我的数据集训练我的 model 时遇到的“内存不足”问题。 根据我的理解，使用 Klepto 我可以将我的数据存储为基于键值的机制。 但是我不太确定当我从 klepto.archieve 加载数据时是否可以直接更新 object。 更新时，例如向列表中添加一个值，同时保持不要将 object 直接加载到 memory 以避免“内存不足”问题。

这是一个关于保存数据的示例（如果这也不是设置它的正确方法，请纠正我）：

from klepto.archives import *
arch = file_archive('test.txt')
arch['a'] = [3,4,5,6,7]
arch.dump()
arch.pop('a')

Answer 1

我是klepto的作者。 如果我明白你想要什么，那么看起来你已经正确设置了它。 关键关键字已cached 。 如果您使用cached=True ，那么存档将被构造为内存中的缓存，并带有手动同步的文件后端。 如果您使用cached=False ，则没有内存缓存......您只需直接访问文件存档。

Python 3.7.16 (default, Dec  7 2022, 05:04:27) 
[Clang 10.0.1 (clang-1001.0.46.4)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> from klepto.archives import *
>>> arch = file_archive('test.txt', cached=True)
>>> arch['a'] = [3,4,5,6,7]
>>> arch.dump() # dump to file archive
>>> arch.pop('a') # delete from memory
[3, 4, 5, 6, 7]
>>> arch
file_archive('test.txt', {}, cached=True)
>>> arch.load('a') # load from file archive
>>> arch
file_archive('test.txt', {'a': [3, 4, 5, 6, 7]}, cached=True)
>>> 
>>> arch2 = file_archive('test.txt', cached=True)
>>> arch2
file_archive('test.txt', {}, cached=True)
>>> arch2.load() # load from file archive
>>> arch2
file_archive('test.txt', {'a': [3, 4, 5, 6, 7]}, cached=True)
>>> 
>>> arch3 = file_archive('test.txt', cached=False)
>>> arch3 # directly access file-archive
file_archive('test.txt', {'a': [3, 4, 5, 6, 7]}, cached=False)
>>> 

您还可以操作存档中已有的对象...不幸的是，对于cached=False ，需要将 object 加载到 memory 中进行编辑（由于缺少存档内编辑的实现，您只能替换中的对象cached=False存档）。

>>> arch2
file_archive('test.txt', {'a': [3, 4, 5, 6, 7]}, cached=True)
>>> arch2['a'].append(8) # edit the in-memory object
>>> arch2
file_archive('test.txt', {'a': [3, 4, 5, 6, 7, 8]}, cached=True)
>>> arch2.dump('a') # save changes to file-archive
>>> arch3
file_archive('test.txt', {'a': [3, 4, 5, 6, 7, 8]}, cached=False)
>>> 
>>> arch3['a'] = arch2['a'][1:] # replace directly in-file
>>> arch3
file_archive('test.txt', {'a': [4, 5, 6, 7, 8]}, cached=False)