大型多维数据的无监督聚类

Question

您好，我是机器学习新手。 我需要一些关于高维数据无监督聚类的帮助。 我有超过 15 个维度的数据，大约有 50 - 8 万行。 数据看起来像这样（15 个参与者，每个参与者的行数几乎相等，并且有 15 个特征）-

参与者	时间	功能 1	功能 2...
1个	0.05	值	值
1个	0.10	值	值
2个	0.05	值	值
2个	0.10	值	值
2个	0.15	值	值

数据由许多参与者组成，每个参与者都有多行数据，并且他们的时间戳记有他们的特征。 我的目标是根据参与者对这些数据进行聚类，并根据这些聚类进行推断。 这里的问题是每个参与者都有很多行，我无法用一个点代表每个参与者，因此将它们聚类似乎是一项艰巨的任务。

我想帮助：

1. 将这些数据聚类以便我可以根据参与者进行推断的最佳方法是什么？

2. 我应该使用哪种聚类技术？ 我已经尝试过 sklearn 的 Kmeans、meanshift 和其他库，但它们花费的时间太长，导致我的系统崩溃。

对不起，如果它有点难以理解，我会尽力回答你的问题。 预先感谢您的帮助。 如果这个问题与其他问题非常相似，请告诉我（我找不到）。

谢谢你：）

Answer 1

由于您在必要的计算量方面遇到麻烦，因此您必须在这里做出某种妥协。 这里有一些可能会解决您的问题的建议，但它们都是有代价的。

1. 降维即 PCA 将您的列数减少到 ~2 左右。 您将丢失一些信息，但您将能够 plot 它并通过 K-means 进行推理。

2. 平均患者数据。 不确定这是否足够，这取决于您的数据。 这将失去对患者的超时观察，但可能会大大减少行数。

我的建议是进行降维，因为随着时间的推移丢失患者的数据可能会使您的数据变得无用。 除了 PCA 之外还有其他东西，例如自动编码器。 为了按照您的描述方式进行聚类，我建议您坚持使用 K-means 或软 K-means。