編碼邊界框進行訓練

Question

我正在嘗試訓練一個基本的卷積網絡以定位圖像中的對象。 我把圖像划分成其具有的形狀的numpy的陣列480, 640, 3 （喚起注意，寬度，RGB）。 目標是帶有盒子點的2D numpy數組。 它的形狀是18, 2 （max_boxes，（X，Y））。

我將其輸入一個相當簡單的卷積模型（如果有幫助，我可以發布源代碼），該模型擅長對圖像進行分類。

當我訓練模型時，它很快達到了約0.77的精度，損失高達〜35。 此后，它停止學習，並且當我嘗試測試圖像時，它表現超級好。

為什么是這樣？ 我是否對目標數據進行了錯誤編碼，或者在訓練網絡時出現問題？ 這樣做的“標准”方法是什么？ 我應該如何解決？

示例輸出

Raw output:
[[[0.02862035 0.02726501]
  [0.02820634 0.02730229]
  [0.02834299 0.02714084]
  [0.02819964 0.02701551]
  [0.02831725 0.02733742]
  [0.02820959 0.02748821]
  [0.02811676 0.02731069]
  [0.0284538  0.0269504 ]
  [0.02842114 0.02728475]
  [0.02858478 0.02691348]
  [0.02842172 0.0273287 ]
  [0.02865605 0.02686743]
  [0.02795038 0.02733723]
  [0.0287733  0.02693835]
  [0.02838135 0.02726109]
  [0.02785174 0.02761061]
  [0.03038537 0.02532353]
  [0.02849848 0.0269334 ]]]
Formatted:
[[[18.317022   17.44961   ]
  [13.539045   13.105101  ]
  [ 0.02834299  0.02714084]
  [ 0.02819964  0.02701551]
  [ 0.02831725  0.02733742]
  [ 0.02820959  0.02748821]
  [ 0.02811676  0.02731069]
  [ 0.0284538   0.0269504 ]
  [ 0.02842114  0.02728475]
  [ 0.02858478  0.02691348]
  [ 0.02842172  0.0273287 ]
  [ 0.02865605  0.02686743]
  [ 0.02795038  0.02733723]
  [ 0.0287733   0.02693835]
  [ 0.02838135  0.02726109]
  [ 0.02785174  0.02761061]
  [ 0.03038537  0.02532353]
  [ 0.02849848  0.0269334 ]]]
Correct:
[[44.0, 50.0], [52.0, 51.5], [39.5, 44.5], [42.5, 46.0], [46.5, 48.0], [46.5, 48.0], [53.5, 55.5], [33.5, 53.0], [51.0, 57.0], [45.5, 54.0]]

格式化我將每個元素乘以hight和width以使其不規范化：

for e in output:
    e[0] *= 640
    e[1] *= 480

編碼圖像

def format_data(X):
    X = array(X)
    n, h, w, c = X.shape
    X = X.reshape(n, h, w, c).astype("float32")
    X = X / 255 # normalize between 0 and 1
    return X

編碼目標數據

def format_output(y, max_box_count=0):
    for e in y:
        if len(e) > max_box_count:
            max_box_count = len(e)

    y_array = []
    for e in y:
        e_zeros = zeros((max_box_count, 2))
        e_zeros[:len(e)] = e
        y_array.append(e_zeros)

    for e in y_array:
        e[0] /= 640
        e[1] /= 480

    return array(y_array).astype('float32'), max_box_count