Swift - 使用 CoreML 刪除圖像背景

Question

我將 CoreML 與 DeepLabV3 model 一起使用以從圖像中刪除背景： https://developer.apple.com/machine-learning/models/

這對於從主題為人/狗/汽車的照片中刪除背景效果很好，但對於其他情況，例如天際線和桌子上的某些物體（請參見示例圖像），它無法從中檢測到 object的背景。

我應該為此使用不同的方法嗎？

謝謝

var imageSegmentationModel = DeepLabV3()
var request :  VNCoreMLRequest?

func setUpModel() {
        if let visionModel = try? VNCoreMLModel(for: imageSegmentationModel.model) {
                request = VNCoreMLRequest(model: visionModel, completionHandler: visionRequestDidComplete)
                request?.imageCropAndScaleOption = .scaleFill
        }
        else {
                fatalError()
        }
}

func predict() {
        DispatchQueue.global(qos: .userInitiated).async {
            guard let request = self.request else { fatalError() }
            let handler = VNImageRequestHandler(cgImage: (self.originalImage?.cgImage)!, options: [:])
            do {
                try handler.perform([request])
            }catch {
                print(error)
            }
        }
   }

func visionRequestDidComplete(request: VNRequest, error: Error?) {
        DispatchQueue.main.async {
            if let observations = request.results as? [VNCoreMLFeatureValueObservation],
                let segmentationmap = observations.first?.featureValue.multiArrayValue {
                
                self.maskImage = segmentationmap.image(min: 0, max: 255)
                print(self.maskImage!.size)
                
                self.maskImage = self.maskImage?.resizedImage(for: self.originalImage!.size)
                if let image:UIImage = self.maskOriginalImage(){
                    print("Success")
                    self.outputImageView.image = image
                }
            }
        }
            
    }

func maskOriginalImage() -> UIImage? {
        if(self.maskImage != nil && self.originalImage != nil){
            let maskReference = self.maskImage?.cgImage!
            let imageMask = CGImage(maskWidth: maskReference!.width,
                                    height: maskReference!.height,
                                    bitsPerComponent: maskReference!.bitsPerComponent,
                                    bitsPerPixel: maskReference!.bitsPerPixel,
                                    bytesPerRow: maskReference!.bytesPerRow,
                                    provider: maskReference!.dataProvider!, decode: nil, shouldInterpolate: true)
            
            let maskedReference = self.originalImage?.cgImage!.masking(imageMask!)
            return UIImage(cgImage: maskedReference!)
            
        }
        return nil
    }

Answer 1

如果您查看 DeepLabV3 模型支持的標簽，它們包括["background", "aeroplane", "bicycle", "bird", "boat", "bottle", "bus", "car", "cat", "chair", "cow", "diningTable", "dog", "horse", "motorbike", "person", "pottedPlant", "sheep", "sofa", "train", "tvOrMonitor"] 。 該模型沒有經過訓練來分割 macbook。

您可以訓練自己的模型以包含可取的對象。 或者看看顯着性的使用，它在檢測圖像中的主要對象方面做得很好。

Answer 2

you can see in output label of Squeeznet model these 999 labels are the object on which this model is trained.

如果您希望可以訓練您的自定義 Model 我使用與 Xcode 集成的本機 Swifty“CreateML”

Answer 3

您可以使用顯着性 object 檢測 neural.network。