在實時圖像中對新對象進行分類

Question

我有一個攝像頭，一個麥克風和一個Python GUI。 用戶向相機顯示一個對象，並使用語音命令詢問“這個對象是什么？”。 網絡攝像頭會拍攝相機框架的照片，並將其推到長頸瓶終點。 我在flask應用程序中托管了一個VGG16模型，該模型根據來自攝像機的圖像響應一個對象類。

我現在想做的是，如果對象未被識別，則應該觸發一個學習周期。 在這個周期中，我將告訴模型對象是什么（語音到文本），它將成為對象的標簽。 我工作了。

下次（學習完成后）不起作用的是，如果我將對象顯示給相機，則模型應該能夠告訴我該對象是什么。

有人可以在以下方面給我建議：

1. VGG16（最初使用轉移學習在2個對象上進行訓練）是否是此類任務的最佳模型？ 當前，它將看不見的對象分類為兩個類之一。

2. 您將如何在雲（AWS，Azure等）上實施此解決方案

謝謝。

Answer 1

1. VGG16（最初使用轉移學習在2個對象上進行訓練）是否是此類任務的最佳模型？ 當前，它將看不見的對象分類為兩個類之一。

首先，“將看不見的對象分類為兩個類之一”的原因很簡單，您只允許它在兩個類之間進行分類，所以發生的事情是，即使向您顯示一個未知的對象，它也應該適合將其放在任一類上並發布其最佳預測，您應該做的是在3個不同的類{object1，object2，unknownObject}上進行訓練，因此您可以正確地預測未知對象，現在這可能有點問題，並且需要重新訓練模型，您可以做的另一件事是您應該設置一個閾值，基本上，當您給它一個看不見的對象時，它可以給出如下的預測置信度：{75％，25％}或{51％， 49％}，您應該在此處設置一個閾值，除非您的模型對預測的把握度超過90-95％，否則您將其視為未知對象，現在我絕不說這應該是您的閾值，即閾值如上所述，可以是.9 / .95，也可以是.75，例如 t是一個超參數，您應該采用一些方法來找出該閾值

2. 您將如何在雲（AWS，Azure等）上實施此解決方案

您已經擁有了燒瓶服務器，只需將燒瓶服務器部署在AWS機器上，並使其可以通過靜態公共外部IP直接訪問，因此您可以發布/獲取對該特定IP的請求並從任何界面運行模型