为什么k均值聚类会忽略大量数据？

Question

我正在使用一组坐标，并希望动态地（我需要完成许多过程）了解数据中有多少个不同的组。 我的方法是应用k均值来研究是否会找到质心，并且我可以从那里去。

当绘制具有6个不同聚类的数据（可视化）时，k-means算法将继续忽略两个有效聚类，同时将许多质心放入另一个聚类。

见下图：

红色是坐标数据点，蓝色是k均值提供的质心。 在这种情况下，我已经尝试了15个（任意），但它仍然无法识别右侧的那些数据，而是在它们中间放置了一个中点，而在群集的右上角放置了8个。

诚然，右上角的数据点略多，但数量不多。

我在R中使用标准的k均值算法，只是输入x和y坐标。 我尝试过对数据进行标准化，但这没有任何区别。

关于这是为什么的任何想法，或可用于尝试并动态了解数据中存在的不同簇数的其他潜在方法？

Answer 1

您可以尝试使用自组织地图 ：

这是基于神经网络的聚类算法，该算法创建训练样本的输入空间的离散表示（称为图），因此是一种进行降维（SOM）的方法。

该算法对聚类非常有用，因为不需要先验选择聚类数量（以k均值表示，您需要选择k，此处为no）。 对于您的情况，它有望自动找到最佳的群集数量，并且您可以实际地对其进行可视化。

您可以找到一个名为somoclu的非常不错的python软件包，该软件包已实现了该算法，并且是一种直观显示结果的简便方法。 否则，您可以选择R。 在这里，您可以找到带教程的博客文章以及SOM的Cran软件包手册。

Answer 2

K-means是一种随机算法，将陷入局部最小值 。

由于这些问题，通常会多次运行k均值，并保持结果的平方最小，即找到的局部最小值中的最佳值。