MemoryError: Unable to allocate 5.62 GiB for an array with shape (16384, 30720, 3) and data type float32 when training StyleGan2

Question

在 tensorflow 1.15、python3.7 上进行培训。 我目前正在自定义数据集上训练 stylegan2，该数据集包含 30000 张图像，每张 256 x 256。由于 style gan 创建了不同的 tf 记录文件，每个存储数据集的大小为 2^x。 第 8 条 tf 记录（存储 256x256 图像）为 5Gb，仅用于上下文，rest 超小（均小于 1 gb）。 我目前的设置是 P100、16 gigs VRam、32 gb ram 和丰富的存储空间。 我也是 2vCpus（在 gcp 上训练）。

如上所述，我遇到了这个错误。 最初我的 memory 是 13 gg，在多次看到确切的错误后，我迭代地将我的 memory 提高到最终的 32 gb。

任何和所有“指针”都会有所帮助（注意指针上的双关语哈哈）

Answer 1

好的，我解决了。 我用于迁移学习的 .pkl 文件存在问题。 使用包含 model 的 pickle 文件，其鉴别器从图像形状的输入层开始（例如 256x256）。