最近 ImageAI 更新后自定义 Object 检测训练期间几乎没有 GPU 使用

Question

大约一个月前，我使用 TensorFlowGPU 1.13 在 Google Colab Pro 上使用 ImageAI 使用 750 张图像训练了自定义 object 检测 model，并且大约有 30 分钟/epoch 的训练时间。 现在，当我使用相同的数据集但使用 TensorFlowGPU 2.4.3（ImageAI 不再支持旧的 TF）进行训练时，我得到的 GPU 使用量（0.1GB）和每个 epoch 的训练时间为 6 小时。 我曾尝试在本地机器上训练相同的 model，但训练时间也很慢。

我正在使用以下导入（基于 ImageAI 文档）：

.pip install tensorflow-gpu==2.4.0 keras==2.4.3 numpy==1.19.3 pillow==7.0.0 scipy==1.4.1 h5py==2.10.0 matplotlib==3.3.2 opencv-python keras-resnet==0.2.0 !pip install imageai --upgrade

我正在从 Google Drive 中提取我的训练数据。

有什么我可能会丢失的东西可以加快我在 Google Colab 或我的本地机器上的 object 检测训练时间吗？ 缓慢的训练时间正在减慢我的研究速度。

Answer 1

如果你想要完整的 GPU 使用，根据我的经验，你必须恢复到以前版本的 ImageAI 和它的兼容包。 以下是我已安装的兼容软件包列表，这些软件包截至目前（2021 年 1 月）在我的本地计算机和 Google Colab 上运行：

• TF-GPU==1.13.1
• 凯拉斯==2.2.4
• Imageai==2.1.0

这修复了由 ImageAI 的最新补丁引起的任何问题。 我现在回到完整的 GPU 使用。 在问题修复之前，我建议使用旧版本。