cost 306 ms
读取/写入/更新 object,无需将 object 加载到 memory - Read/Write/Updating object without loading the object to memory

我一直在尝试使用 Klepto package 将我的 object 写入/读取/更新到硬盘,旨在避免我在使用我的数据集训练我的 model 时遇到的“内存不足”问题。 根据我的理解,使用 Klepto 我可以将我的数据存储为基于键值的机制。 但是我不太确定当我从 klepto.archieve ...

如何保存大型sklearn RandomForestRegressor model进行推理 - How to save large sklearn RandomForestRegressor model for inference

我在 19GB 的训练数据上训练了 Sklearn RandomForestRegressor model。 我想将它保存到磁盘以便以后使用它进行推理。 正如在另一个stackoverflow问题中所推荐的那样,我尝试了以下方法: 泡菜 Model 保存成功。 它在磁盘上的大小是 1.9 GB。 ...

如何快速从Klepto文件存档中删除多个项目? - How to delete multiple items from Klepto file archive fast?

我正在使用Klepto存档来索引文件夹树中的文件规范。 扫描树后,我想快速删除对已删除文件的引用。 但是,简单地从文件档案中一个接一个地删除一个项目非常慢。 是否可以将更改同步到存档,或一次删除多个密钥? (“同步”方法仅显示添加新项) @Mike Mckerns对这个问题的有用答 ...

klepto中的超时缓存 - Time-expiring cache in klepto

我正在尝试klepto (v。0.1.5.2)缓存一些非常繁琐且耗时的计算。 特别是,我使用lru_cache作为装饰器,并使用hdfdir_archive缓存存档。 我按照此答案中的建议,使用lru_cache的purge=False选项将缓存内容持久保存在磁盘上,并且它的工作原理很l ...

使用Klepto保存和编辑Python - Python Saving and Editing with Klepto

好的,我的问题很具体,我事先表示歉意。 我是一名新程序员,并尝试从头开始自己开发。 我能看到的最后一个问题是相对成功的。 您可以在此处完整查看我的代码。 项目 因此,我遇到的问题与保存文件的方式有关。 我首先尝试将其腌制,因为它是一本字典,但是由于我的字典是 (名称,类别 ...

用于选择性缓存/ memoization的装饰器 - Decorators for selective caching / memoization

我正在寻找一种构建装饰器@memoize ,我可以在函数中使用如下: 然后,如果我这样做: 现在说我要强制缓存更新 : 在上面的结尾,我们总是有result4 = result3 ,但不一定是result4 = result ,这就是为什么需要一个选项来强制相同输入参数的 ...


 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM