Google ML Kit 自拍分割效果不佳

Question

我正在使用 Google ML Kit 進行自拍分割（https://developers.google.com/ml-kit/vision/selfie-segmentation ）。 但是，我得到的 output 非常差 -

初始圖像：

帶有疊加層的分段圖像：觀察女性的頭發是如何標記為粉紅色的，而她的腿附近的健身器材和周圍是如何標記為非粉紅色的。 甚至她的手也被標記為粉紅色（意味着它的背景）。

當它疊加在另一個圖像上時，為了創建背景去除效果，它看起來很糟糕

ML Kit 返回的分割掩碼對上述所有非粉紅色區域的置信度為 1.0，這意味着它絕對確定非粉紅色區域是人的一部分！！

我看到了幾張圖片，而不僅僅是這張。 事實上，圖像分割器的性能（置信度）非常差。

問題是 - 有沒有辦法改進它，也許通過提供不同/更好的 model？ 如果我使用像 PixelLib 這樣的東西，分割會更好，盡管庫的性能不是低延遲，因此不能在移動設備上運行。

任何關於此的指針/幫助將不勝感激。

Answer 1

期望基於 CPU 的輕量級實時自拍 model 為相當復雜且棘手的場景（姿勢、黑色背景和服裝）提供准確的分割結果可能過於樂觀。

官方示例強調了復雜環境可能會成為問題的事實。

處理場景的唯一“簡單”方法是使用深度估計。 剛剛用一個相當復雜的 model 做了一個快速測試：

結果遠非可用（至少以完全自動化的方式）。 還有其他幾個選項：

• 創建一個自定義的更面向運動的 model，在適當的數據集上進行訓練
• 使用較重的 model （現代手機相當有能力）
• 使用一些可靠的姿勢估計來確保特定場景與自拍兼容