k-均值聚类-为什么所有聚类都相同？

Question

我在一组10842条推文的文本数据上运行k-means聚类。 我将k设置为5，并得到如下的群集

cluster1：预订航班NA

cluster2：航班预订不适用

cluster3：航班预订不适用

cluster4：航班预订不适用

cluster5：预订航班NA

我不明白为什么所有群集都一样？？

myCorpus<-Corpus(VectorSource(myCorpus$text))
myCorpusCopy<-myCorpus
myCorpus<-tm_map(myCorpus,stemDocument)
myCorpus<-tm_map(myCorpus,stemCompletion,dictionary=myCorpusCopy)
myTdm<-TermDocumentMatrix(myCorpus,control=list(wordLengths=c(1,Inf)))
myTdm2<-removeSparseTerms(myTdm,sparse=0.95)
m2<-as.matrix(myTdm2)
m3<-t(m2)
set.seed(122)
k<-5
kmeansResult<-kmeans(m3,k)
round(kmeansResult$centers,digits=3)

for(i in 1:k){
cat(paste("cluster",i,":",sep=""))
s<-sort(kmeansResult$centers[i,],decreasing=T)
cat(names(s)[1:3],"\n")
}

Answer 1

请记住，k均值聚类要求您预先指定聚类数（与分层聚类相反）。 在无法访问数据集的情况下（因此无法重现您在此处呈现的内容），获得显而易见的同类群集的最明显原因是，事先指定的群集数量存在问题。

最直接的解决方案是尝试使用R中的NbClust软件包来确定适合您的数据的群集数。

以下是使用玩具数据集的示例代码，可让您了解如何进行操作：

# install.packages("NbClust")
library(NbClust)
set.seed(1234)
df <- rbind(matrix(rnorm(100,sd=0.1),ncol=2),
     matrix(rnorm(100,mean=1,sd=0.2),ncol=2),
     matrix(rnorm(100,mean=5,sd=0.1),ncol=2),
     matrix(rnorm(100,mean=7,sd=0.2),ncol=2))

# "scree" plots on appropriate number of clusters (you should look
# for a bend in the graph)
nc <- NbClust(df, min.nc=2, max.nc=20, method="kmeans") 
table(nc$Best.n[1,]) 

# creating a bar chart to visualize results on appropriate number
# of clusters
barplot(table(nc$Best.n[1,]), 
      xlab="Number of Clusters", ylab="Number of Criteria",
      main="Number of Clusters Chosen by Criteria")

如果即使在指定了NbClust软件包中的函数建议的簇数之后仍然遇到问题，那么另一个问题可能是删除了稀疏项。 尝试向下调整“稀疏”选项，然后检查k均值聚类的输出。