如何使用GPU運行Keras Model.Predict()

Question

使用 Tensorflow CIFAR CNN 演示，我驗證了我的 TF 正確使用了我的 GPU。TF 使用 GPU 運行 model.fit()，它在 HWiNFO64 中使用了大約 50%。 但是，如果我隨后將此單元格添加到筆記本中，它使用 model 來預測測試集中的圖像 label：

import numpy as np
for img in test_images:
    prediction = model.predict(np.expand_dims(img, axis=0)) # Here
    print(class_names[np.argmax(prediction)])

我只看到 1% GPU 使用率（由 Chrome 和其他進程使用）。 有沒有辦法讓我在 GPU 上運行 model.predict()，或者有什么替代方法可以讓我使用 model output 作為單個輸入？

Answer 1

您的代碼在 GPU 上運行，認為 GPU 利用率可以告訴您代碼是否在 GPU 上運行是一種誤解。

問題是對每個圖像進行一次predict調用效率非常低，因為幾乎無法在 GPU 上執行並行性，如果您傳遞一整組圖像，那么它將增加 GPU 的利用率，因為可以向 GPU 提供批次，並且每個圖像並行處理。

GPU 只會加速特定的工作負載，因此您唯一的選擇是在調用predict時使用更多圖像。