测试无监督机器学习算法

Question

在整个Internet上，我可以看到有监督和无监督机器学习算法的应用程序，但是没有人谈论维护机器学习应用程序的质量。 最近有关如何测试无监督机器学习算法的分析提出了以下几点：

1）交叉验证测试：将数据集划分为相等的折叠（部分），除一个折叠外的所有折叠均用作训练数据集，之后用作测试数据集

关于使用测试和培训数据集的更多选择。
在不确定输出的情况下，有没有更有效的方法来测试无监督的机器学习算法？

Answer 1

根据您使用的算法类型（和选择的距离），您仍然可以尝试查看组之间的差异和组内的差异是否发生了很大变化。

如果您的算法仍与构建时的算法一样好，则之间的方差和内部方差应该不会有太大变化。 如果缩小之间存在方差（或相反），则表示算法之间的分组间隔不如以前。

您可以尝试的第二件事是，在重新训练算法后，保留一些观察结果（您知道它们已经很好地分类），以查看它们是否仍在同一组中。 如果不是，这并不意味着您的算法是错误的，但是在这种情况下，您可以发送警报以进一步了解。