Tensor Flow 2 Object Detection API2 Batch Non Max Suppression 在 TPU 上訓練有素的 Faster-RCNN 網絡中似乎不起作用。 這是一個錯誤嗎？

Question

我按照新的 Tensorflow 2 Object 檢測 API 2 文檔在 Google Cloud Platform TPU 上使用遷移學習訓練更快的 RCNN 檢測器。 訓練完成后，我在我的工作站上下載了結果，並使用 tensorflow 2 實現（'object_detection/exporter_main_v2.py'）導出了 model。 我按照官方說明並在本地設置環境（在 macOS catalina、tensorflow 2.2、python 3.6 等上運行）

然而，推理管道的非最大抑制 (NMS) 部分似乎無法正常工作，因為在某些情況下，不同類別的邊界框幾乎完全重疊。 I debugged the code to ensure that the object detection api implementation of NMS (batch_multiclass_non_max_suppression method in object_detection/core/post_processing.py) is called in the inference pipeline for the Faster-RCNN model. Fast-RCNN 架構在推理上的調用次數是預期的兩倍。

我用於 GCPs AI-Platform TPU 的指令是官方 object 檢測 api 頁面中的指令： 鏈接。 我在訓練參數中進行了更正，以使用 GCP 支持的 TPU 運行時和 Python 版本，因為實際示例不支持。 相反，我使用了：

gcloud ai-platform jobs 提交訓練whoami object_detection date +%m_%d_%Y_%H_%M_%S
--job-dir=gs://${MODEL_DIR}
--package-path./object_detection
--module-name object_detection.model_main_tf2
--運行時版本 2.2
--python-版本 3.7
--scale-tier BASIC_TPU
--region us-central1
--
--use_tpu 真
--model_dir=gs://${MODEL_DIR}
--pipeline_config_path=gs://${PIPELINE_CONFIG_PATH}

我用於訓練的數據集是來自官方 object 檢測 api 頁面的 Pets 示例： 鏈接。 但是我使用 Tensorflow 2 Object 檢測 API 2 方法將其導出以保持一致性。

我使用的預訓練神經網絡是在 TPU 上訓練的Faster R-CNN ResNet101 V1 1024x1024 。

我使用的配置文件是faster_rcnn_resnet101_v1_1024x1024_coco17_tpu-8.config ，用於TPU訓練。 我將類數更改為 37。我還將批次數更改為 batch_size: 32，因為 tpu v2 上的 gpc 崩潰了。 將fine_tune_checkpoint_type 更改為fine_tune_checkpoint_type：“檢測”，我使用的唯一數據增強是random_horizontal_flip。

官方 object detection 2 model zoo報告了除 SSD 之外的 TPU 訓練架構的結果。 然而官方的 object 檢測 tpu 兼容性指南提到目前僅支持 SSD 而非最大抑制不支持。

為什么 NMS 不工作？

Answer 1

我認為這是因為batch_multiclass_non_max_suppression方法是一個類感知 NMS（或者至少是我所理解的）。 這意味着，對於每個 class，在屬於同一個 class且 IOU 大於閾值的所有框中，僅保留得分最高的框。

我認為您想要一個與類無關的 NMS（ use_class_agnostic_nms: True ）。 此外，如果您想要一個 class 進行檢測，您還應該設置max_classes_per_detection: 1 。