cost 511 ms
关于 joblib.dump() 的困惑 - Confusion regarding joblib.dump()

保存 sklearn 模型的一种方法是使用joblib.dump(model,filename) 。 我对文件名参数感到困惑。 运行此 function 的一种方法是通过: 这将成功保存 model,并且使用以下命令正确加载 model: 另一种方法是使用: 这次没有“.joblib”扩展名。 这也 ...

HDBSCAN:聚类、持久化和 approximate_predict() - HDBSCAN : clustering , persistance and approximate_predict()

我想缓存我的 model 结果,以便在不重做聚类的情况下进行预测。 我读到我可以在 HDBSCAN 中使用memory参数来做到这一点。 我这样做是因为我想将文件保存在与我的脚本相同的目录中,而不是此处的'/tmp/joblib' (( HDBSCAN 集群缓存和持久性)):clusterer = ...

错误:_pickle.PicklingError:无法腌制任务以将其发送给工人。 NotImplementedError: object 代理必须定义 __reduce_ex__() - Error: _pickle.PicklingError: Could not pickle the task to send it to the workers. NotImplementedError: object proxy must define __reduce_ex__()

我正在使用 Python 和 joblib。 什么可能导致此错误? 环境: Windows 10 x64 带 WSL2 Python 3.9 在 Windows 或 Linux 作业库 ...

joblib.parallel 中的共享内存 pandas 数据帧 object - Shared-memory pandas data frame object in joblib.parallel

我正在使用来自 joblib 的并行 function 来并行化任务。 所有进程都将 pandas dataframe 作为输入。 为了减少使用 memory 的运行时间,可以共享这个 dataframe 吗? 所有进程都是只读的就可以了。 我找到了一个类似的解决方案,但对于 numpy 数组并在 ...

工人完成任务后会发生什么? - What happens with workers when they are done with their task?

我有一个任务,我的目标是在joblib -library 的帮助下并行化。 function 在顺序运行时相当慢,因此我尝试使用并行化范例来加快进程。 唯一的块有大约 1000 个条目,并且与其他单元相比,某些单元的时间序列的创建需要更长的时间。 这让我想到,一些工人正在工作,而另一些工人正在执 ...

如何限制 python 库中使用的 CPU 内核数量? - How to limit the amount of CPU cores used in a python library?

我正在为 TensorFlow model(自己的代码,而不是 tf.Data)运行 DataPipeline,使用多处理库进行可调整的并行计算量。 尽管限制了并行进程的数量 (#CPU),但我注意到 CPU 负载非常高(显着高于 100%*#CPU)。 我将问题追溯到我用来计算音频特征的 lib ...


 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM