如何格式化Keras上的訓練輸入和輸出數據

Question

我是深度學習的新手，我在Keras上遇到了一些數據格式。 我的CNN基於A.Newell等人的人體姿勢估計的堆積沙漏網絡 。

在這個網絡上，輸入是256x256 RGB圖像，輸出應該是64x64熱圖，突出顯示身體關節（肩膀，膝蓋，......）。 我設法建立網絡，我有所有數據（圖像）及其注釋（身體關節的像素標簽）。 我想知道如何格式化訓練集的輸入和輸出數據來訓練我的模型。 目前我使用numpy數組（256,256,3）作為圖像，我不知道如何格式化我的輸出。 我應該創建一個表[n，64,64,7]嗎？ （n是訓練集的大小，7是我用來獲得7個關節的熱圖的濾波器數量）

感謝您的時間。

Answer 1

輸出也可以是一個numpy數組。 考慮這個例子：訓練集：50個大小為256x256x3的圖像。 這可以組合成單個numpy形狀的陣列（50,256,256,3）。 類似的格式化輸出數據的方法。 示例代碼如下：

    #a, b and c are arrays of size 256x256x3
    import numpy as np

    temp = []
    temp.append(a)
    temp.append(b)
    temp.append(c)
    output_labels = []
    output_labels = np.stack(temp)

output_labels數組的形狀（3x256x256x3）。

Answer 2

Keras建議創建數據生成器，以便將訓練數據和基礎事實提供給網絡。 具體到堆疊沙漏網絡案例，你可以參考我的實現細節https://github.com/yuanyuanli85/Stacked_Hourglass_Network_Keras/tree/master/src/data_gen