在張量流模型中使用更快的RCNN進行小物體檢測

Question

我正在嘗試為小數字檢測訓練一個更快的rccn模型。 我正在使用新發布的tensorflow 對象檢測API ，到目前為止已經從動物園中對預先訓練好的faster_rcnn_resnet101_coco進行了微調。 我所有的訓練嘗試都產生了高精度但低召回率的模型。 在每個圖像上的~120個對象（數字）中，僅檢測到~20個對象，但是當檢測到時，分類是准確的。 （此外，我能夠在我的裁剪圖像上從頭開始訓練一個簡單的回旋網，具有高精度，因此問題出在模型的檢測方面。）原始圖像中每個數字平均為60x30（可能大約是原始圖像的一半）在將圖像調整到模型之前調整圖像大小。）以下是一個示例圖像，其中包含我所看到的框：

對我來說奇怪的是它如何能夠正確地檢測相鄰數字但完全錯過了在像素尺寸方面非常相似的其余數字。

我已經嘗試調整錨框生成和first_stage_max_proposals周圍的超參數，但first_stage_max_proposals還沒有改進結果。 這是我使用的示例配置文件。 我應該嘗試調整哪些其他超參數？ 關於如何診斷問題的任何其他建議？ 我是否應該研究其他架構，或者使用更快的rccn和/或SSD來完成我的任務？

Answer 1

最后，直接的問題是我沒有正確使用可視化工具。 通過更新Johnathan在評論中描述的visualize_boxes_and_labels_on_image_array的參數，我能夠看到我至少檢測到比我想象的更多的盒子。

Answer 2

我檢查你的配置gile，你正在將圖像的分辨率降低到1024.你的數字區域將不包含很多像素，你丟失了一些信息。 我建議用另一個數據集（較小的圖像）訓練模型。 例如，您可以在4個區域中裁剪圖像。

如果你有一個好的GPU增加image_resizer中的最大尺寸，但我猜你會耗盡內存