如何使用trained.tfilte model在实时摄像头output上创建蒙版？

Question

我已经开始使用 Swift 在 iOS 上学习 ML。 现在我对神经网络有了一些了解。 在这里，我有.tflite model 训练有素，可以识别指甲，因为效果是这样的：

现在我需要在实时摄像头 output 上创建一个遮罩

func captureOutput(_ output: AVCaptureOutput, didOutput sampleBuffer: CMSampleBuffer, from connection: AVCaptureConnection) {}

叫做。

目前，当我在实时摄像机上戴上面具时，有一个 output 像这样：

解释 output 的 model 可能有什么问题？

在这里你可以看到我用来预览蒙版的 ScannerViewController 和 DeepLabModel。

编辑1：

如果您有任何其他 model，可以替换我的 DeepLabModel，我也会对此感到满意。 这里出了点问题，我不知道是什么。

编辑2：

我还考虑了 DeepLabModel 中使用的 pod 错误的可能性：

pod 'TensorFlowLiteGpuExperimental'

Answer 1

在分析了托管在您上面链接中的 your.tflite 文件后，我可以说它结构良好，它会根据您的需要提供 2 个标签，但它没有经过充分培训。 我给你3张在android手机上推理后的结果图片。

所以你的代码没有问题...... .tflite 文件没有产生好的结果！

我的建议是继续用更多的手和指甲图片来训练它。 我会使用Deeplab推荐 300 多张带有不同手和指甲的面具以及大约 30.000 个时期的图片

如果您需要一个工具来帮助您创建蒙版，请使用此工具

您始终可以在google或Kaggle中搜索数据集，以增加您使用的图像数量

如果您需要更多信息或其他任何内容，可以标记我！

快乐编码！