如何在 Colab 中免費訓練大型數據集

Question

我必須在 google colab free 上為我的人臉驗證項目訓練 70,000 張圖像。 首先，它卡在第一個時期，然后即使它開始訓練，一段時間后它也會拋出 RAM 錯誤。 我使用的代碼是：

<https://nbviewer.org/github/nicknochnack/FaceRecognition/blob/main/Facial%20Verification%20with%20a%20Siamese%20Network%20-%20Final.ipynb>

如果我必須對我的數據集進行小批量處理以使其適合 colab 的 GPU memory，那么我該怎么做呢？ 另外，我想訓練整個數據集，因為它包含 5 個不同人的圖像作為錨點和陽性。

Answer 1

您可以執行以下選項來訓練更大的數據集。

1. 在 model 中添加更多池化層。
2. 降低 model 中的輸入大小。
3. 將具有較小圖像尺寸的圖像的二進制格式用於圖像分類模型。
4. 在訓練和驗證 model 時降低批量大小。
5. 您還可以使用tf.data api 執行各種操作，如批處理、切片、處理、混洗等，以創建數據管道。 您可以進一步限制GPU 的使用，以避免 Out of memory 問題。

下面附上示例 colab 筆記本。 https://colab.sandbox.google.com/github/tensorflow/docs/blob/master/site/en/guide/data.ipynb