K均值聚类的内存问题

Question

我正在尝试使用K表示聚类的搜索历史中的关键短语进行聚类，但是在运行stringdistmatrix（）命令时遇到了“无法分配大小为30gb的向量”错误。 我使用的数据集包括63455个唯一元素，因此生成的矩阵需要大约30gb的内存来处理。 有没有办法降低过程的要求而又不会失去太大的意义？

如果您偶然发现任何其他错误，则下面是我尝试运行的代码：

#Set data source, format for use, check consistency
MyData <- c('Create company email', 'email for business', 'free trial', 'corporate pricing', 'email cost')
summary(MyData)


#Define number of clusters
kclusters = round(0.90 * length(unique(MyData)))

#Compute distance between words
uniquedata <- unique(as.character(MyData))
distancemodels <- stringdistmatrix(uniquedata, uniquedata, method="jw")

#Create Dendrogram
rownames(distancemodels) <- uniquedata
hc <- hclust(as.dist(distancemodels))
par(mar = rep(2, 4))
plot(hc)

#Create clusters from grouped keywords
dfClust <- data.frame(uniquedata, cutree(hc, k=kclusters))
names(dfClust) <- c('data','cluster')
plot(table(dfClust$cluster))

#End view
view(dfClust)

Answer 1

我不知道在进行k均值聚类时要避免生成距离矩阵的任何方法。

您可以考虑为避免内存问题而设计的替代群集算法。 想到的主要对象是CLARA（大型应用程序集群； Kaufman和Rousseeuw，1990年 ）。 在R中，它就像cluster::clara一样简单，仅获取数字数据（如k-means）并要求您预先设置k 。

阅读手册（ ?cluster::clara ），尤其是关于应设置为高于默认值的样本数量。 希望有帮助！

编辑：刚注意到您实际上没有数字数据开始，所以也许CLARA并不是那么有用。 您也许可以使用与CLARA相同的原理，包括多次采样数据以减少内存占用，并在以后合并结果。