NLC或R＆R的再訓練方法

Question

我們知道的基本事實用於重新訓練NLC或R＆R。

基本事實是問題級別的訓練數據。

例如

“今天天氣熱嗎？溫度”

問題“今天有多熱？” 因此被歸為“溫度”等級。

應用程序啟動后，將收到真實的用戶問題。 有些是相同的（即，來自真實用戶的問題與基本事實中的問題是相同的），有些是相似的術語，有些是新問題。 假設應用程序有一個反饋循環，以了解該類（對於NLC）或答案（對於R＆R）是否相關。

About the new questions, the approach seems to just add the them to the ground truth, which is then used to re-train the NLC/R&R?
For the questions with similar terms, do we just add them like the new questions, or do we just ignore them, given that similar terms can also be scored well even similar terms are not used to train the classifier?
In the case of the same questions, there seems nothing to do on the ground truth for NLC, however, to the R&R, are we just increase or decrease 1 for the relevance label in the ground truth?

簡而言之，這里的主要問題是關於NLC＆R＆R的再培訓方法是什么...

Answer 1

應用程序上線后，您應該定期查看反饋日志，以尋求改進的機會。 對於NLC，如果有一些文本分類不正確，則可以將這些文本添加到訓練集中並重新訓練，以改善分類器。

只要您的分類器返回可接受的響應，就不必捕獲類的每個可能的變體。

您可以使用日志中的其他類示例來組裝測試集中沒有的文本測試集。 進行更改時運行此測試集將使您能夠確定更改是否無意間導致了回歸。 您可以通過使用REST客戶端調用分類器或通過Beta自然語言分類器工具包來運行此測試。

Answer 2

可靠的再培訓方法應該是從實時用戶那里獲得反饋。 您對任何經過再培訓的NLC（或有關R＆R）的測試和驗證應遵循James Ravenscroft在此處概述的一些原則（ https://brainsteam.co.uk/2016/03/29/cognitive-quality-保證簡介/ ）。

@davidgeorgeuk 的回答是正確的，但未能將想法擴展到您正在尋找的結論。 我將每月進行一系列活動，其中將瀏覽應用程序日志，其中REAL用戶指示您未正確分類事物，並且還將任何新類合並到分類器中。 我將使用新數據重新訓練NLC的第二個實例，並進行上面概述的測試方案。

當您對模型進行了改進后，我將切換代碼以指向新的NLC實例，而舊的NLC實例將成為您的“備份”實例，下一個將用於本練習的實例月。 它只是使用一種簡單的DevOps方法來管理您的NLC實例。 如果需要，可以將其擴展到開發，質量檢查，生產方案。