高效的动态聚类[关闭]

Question

我有一组来自单位间隔的数据点（即带有数值的一维数据集）。 我在线上收到一些其他数据点，而且某些数据点的值可能会动态变化。 我正在寻找一种可以有效处理这些问题的理想聚类算法。

我知道顺序k均值聚类可以应对新实例的添加，并且我认为只需稍作修改即可使用动态实例值（即，首先从各个聚类中获取经过修改的实例，然后更新聚类的均值，最后给出修改后的实例作为算法的输入，就像添加了一个看不见的实例一样）。

我对使用k-means算法的关注是要求提供簇数作为输入。 我知道他们在时间和空间复杂度方面击败了其他聚类算法（GA，MST，分层方法等）。 老实说，我不确定，但是也许可以摆脱上述算法之一的困扰。 即使我的数据集相对较大，一个维度的存在也让我感到奇怪。

更具体地说，我的典型测试用例将包含约10K-200K一维数据点。 我想最好在一秒钟内完成聚类。 假设值点的动态变化是平滑的，即相对较小。 因此，高度推荐能够使用现有解决方案（即能够在更改值或添加新值时继续在现有解决方案上进行集群化）的方法。

总而言之：

您能想到一种可以在计算效率和聚类准确度之间提供最佳结合的算法吗？ 上面定义的问题？

k-均值算法是否有一些不错的试探法，可以预先自动计算K的值？

Answer 1

因为您的数据集是一维的，所以您可以使用一种非常简单有效的方法来根据单链接聚类规则动态更新聚类 。 该规则规定，只要第一个聚类中的某个点和第二个聚类中的某个点的距离小于预定阈值距离，就会将2个聚类合并为1个聚类。

• 建立一个包含初始点集的二叉搜索树 。
• 使初始O（n）有序通过此BST，BST按排序顺序访问节点，以找到初始集群集：每次当前点与最后一个点之间的距离小于阈值时，将其添加到以前的集群，否则启动新集群。
• 动态添加点X时，只需在BST中搜索其两个邻居L和R（在任一侧），然后照常插入即可。 如果X-L <阈值，则X加入L的集群； 如果R-X <阈值，则X加入R的集群； 如果都为真，则必须将L的群集和R的群集组合在一起； 如果都不成立，那么X会形成自己的新集群。
• 动态删除点X时，请像以前一样找到它的邻居L和R，如果它们当前属于同一集群C，请检查R-L> threshold。 如果是这样，请从X处向左（或向右）扫描，将每个点放入新的簇中，直到找到不在C中的点。
• 移动等同于删除然后插入。

您可以在每个BST节点内的字段中记录每个点所属的群集。 或者，如果插入操作占主导，那么使用并/查找数据结构可能会更快。

Answer 2

除了BST（或决策树）之外，其他方法是分层聚类，例如BIRCH算法 ，它非常适合大型数据集并将新的数据点添加到现有聚类中，它的性能也是最好的之一