如何使用非常大的训练集来训练dlib形状预测器

Question

我正在尝试使用python dlib.train_shape_predictor函数来使用非常大的图像集（ dlib.train_shape_predictor进行训练。

我已经创建了一个包含必要数据的xml文件，但似乎train_shape_predictor在开始训练之前将所有引用的图像加载到RAM中。 由于使用了超过100gb的RAM，这导致进程终止。 即使精简数据集也要使用20GB以上的内存（计算机只有16GB的物理内存）。

有什么方法可以使train_shape_predictor可以按需加载图像，而不是一次加载所有图像？

我正在使用通过macOS上的pip安装的python 3.7.2和dlib 19.16.0。

Answer 1

我将此问题发布在dlib github上，并得到了作者的以下回复：

这样更改代码以在磁盘和ram之间来回循环是不合理的。 这会使训练非常缓慢。 相反，您应该购买更多的RAM或使用较小的图像。

按照设计，大型训练集需要大量RAM。