如何為 CNN 訓練准備通道圖像？

Question

我正在訓練一個用於細胞分割的六通道圖像，這是單獨的。 下面描繪的六個圖像是相同的，但在不同的通道中。

我應該如何安排數組以輸入到我的網絡？ 用 numpy.dstack 將它們全部放在數組中？ 還是直接在圖層中？ 我知道我們也應該注意過濾器的數量和大小，它應該被視為 RGB 圖像，但我是深度學習和計算機視覺領域的新手，這個問題困擾着我。

我使用 Python 進行圖像編輯（PIL 和 OpenCV），使用 TensorFlow 與 Keras 進行圖像處理。

在細胞周圍裁剪后的圖像形狀為每個通道的陣列中的每個 30x30。

Answer 1

我的建議是

與大多數深度學習問題一樣，答案是嘗試一下。 使用 np.dstack 使輸入具有形狀(batch_size, 30, 30, 6)並訓練模型。 我假設您將使用Conv2D因此通道組合應該無關緊要。

然而，如果你打算使用遷移學習（ pretrained_models ），你可能需要刪除的頻道或sum在一起，以獲得形狀(batch_size, 30, 30, 3)由於大多數這些模型的期待3個通道

Answer 2

如果您計划使用遷移學習，那么默認的圖像大小應為（224，224）為Keras文檔中提到這里。 可以使用“channels_first”數據格式（通道、高度、寬度）或“channels_last”數據格式（高度、寬度、通道）構建模型的輸入。