在实时图像中对新对象进行分类

Question

我有一个摄像头，一个麦克风和一个Python GUI。 用户向相机显示一个对象，并使用语音命令询问“这个对象是什么？”。 网络摄像头会拍摄相机框架的照片，并将其推到长颈瓶终点。 我在flask应用程序中托管了一个VGG16模型，该模型根据来自摄像机的图像响应一个对象类。

我现在想做的是，如果对象未被识别，则应该触发一个学习周期。 在这个周期中，我将告诉模型对象是什么（语音到文本），它将成为对象的标签。 我工作了。

下次（学习完成后）不起作用的是，如果我将对象显示给相机，则模型应该能够告诉我该对象是什么。

有人可以在以下方面给我建议：

1. VGG16（最初使用转移学习在2个对象上进行训练）是否是此类任务的最佳模型？ 当前，它将看不见的对象分类为两个类之一。

2. 您将如何在云（AWS，Azure等）上实施此解决方案

谢谢。

Answer 1

1. VGG16（最初使用转移学习在2个对象上进行训练）是否是此类任务的最佳模型？ 当前，它将看不见的对象分类为两个类之一。

首先，“将看不见的对象分类为两个类之一”的原因很简单，您只允许它在两个类之间进行分类，所以发生的事情是，即使向您显示一个未知的对象，它也应该适合将其放在任一类上并发布其最佳预测，您应该做的是在3个不同的类{object1，object2，unknownObject}上进行训练，因此您可以正确地预测未知对象，现在这可能有点问题，并且需要重新训练模型，您可以做的另一件事是您应该设置一个阈值，基本上，当您给它一个看不见的对象时，它可以给出如下的预测置信度：{75％，25％}或{51％， 49％}，您应该在此处设置一个阈值，除非您的模型对预测的把握度超过90-95％，否则您将其视为未知对象，现在我绝不说这应该是您的阈值，即阈值如上所述，可以是.9 / .95，也可以是.75，例如 t是一个超参数，您应该采用一些方法来找出该阈值

2. 您将如何在云（AWS，Azure等）上实施此解决方案

您已经拥有了烧瓶服务器，只需将烧瓶服务器部署在AWS机器上，并使其可以通过静态公共外部IP直接访问，因此您可以发布/获取对该特定IP的请求并从任何界面运行模型