在文档术语频率中查找常用单词及其值

Question

因此，我必须从DTM中找到最常用的单词及其值。

library('tm') 
library("SnowballC")  
my.text.location "C:/Users/mrina/OneDrive/Documents/../"
apapers <- VCorpus(DirSource(my.text.location)) class(apapers)
apapers <- tm_map(apapers, removeNumbers) 
apapers <- tm_map(apapers, removePunctuation) 
apapers <- tm_map(apapers, stemDocument, language ="en")

这是为了清理语料库以及下面的内容，以创建DTM并查找频率。

ptm.tf <- DocumentTermMatrix(apapers) 
dim(ptm.tf)
findFreqTerms(ptm.tf)

有没有办法将常用词和频率值结合在一起？

Answer 1

findFreqTerms只是在稀疏矩阵上使用行和。 该函数使用slam的row_sums 。 为了使单词保持计数，我们可以使用相同的功能。 slam软件包是在安装tm时安装的，因此，如果您加载slam或通过slam::调用它们，则这些功能可用。 使用slam中的函数会更好，因为它们可以处理稀疏矩阵。 基本的rowsums会将稀疏矩阵转换为密度较低的矩阵，该矩阵速度较慢且使用大量内存。

# your code.....
ptm.tf <- DocumentTermMatrix(apapers) 

# using col_sums since it is a document term matrix. If it is a term document matrix use row_sums
frequency <- slam::col_sums(ptm.tf)
# Filtering like findFreqTerms. Find words that occur 10 times or more. 
frequency <- frequency[frequency >= 10]

# turn into data.frame if needed:
frequency_df <- data.frame(words = names(frequency ), freq = frequency , row.names = NULL)

Answer 2

如果您不介意使用其他软件包，则该方法应该起作用（而不是创建DTM对象）：

library('tm') 
library("SnowballC")  
my.text.location "C:/Users/mrina/OneDrive/Documents/../"
apapers <- VCorpus(DirSource(my.text.location)) 
class(apapers)
apapers <- tm_map(apapers, removeNumbers) 
apapers <- tm_map(apapers, removePunctuation) 
apapers <- tm_map(apapers, stemDocument, language ="en")

# new lines here
library(qdap)
freq_terms(apapers)                ^

由reprex软件包 （v0.2.0）创建于2018-09-28。