R：tm包，汇总/加入文档

Question

我之前找不到关于此的任何问题，因此也许您可以提供帮助。

基于元数据（例如，不同作者的文本聚合）在tm语料库中聚合数据的好方法是什么？

至少有两种明显的方法可以完成：

• tm中的内置函数，该函数允许DocumentTermMatrix构建在元数据功能上。 不幸的是，我无法发现这一点。
• 一种基于表中某些外部元数据在语料库中联接文档的方法。 它将仅使用元数据替换文档ID。

因此，您将拥有一个包含以下内容的表：DocumentId，AuthorName

还有一个由tm构建的语料库，其中包含大量文档。 我了解将表作为语料库对象的元数据引入并不难。

可以使用以下函数构建矩阵。

library(tm) # version 0.6, you seem to be using an older version
corpus  <-Corpus(DirSource("/directory-with-texts"),
 readerControl = list(language="lat"))

metadata <- data.frame(DocID, Author)

#A very crude way to enter metadata into the corpus (assumes the same sequence):
for (i in 1:length(corpus)) {
  attr(corpus[[i]], "Author") <- metadata$Author[i]
}

a_documenttermmatrix_by_DocId <-DocumentTermMatrix(corpus) 

您将如何构建一个矩阵来显示每个作者可能会聚集多个文档而不是文档的频率？ 仅在此阶段执行此操作很有用，而不是仅用几个术语进行后处理。

a_documenttermmatrix_by_Author <- ?

非常感谢！

Answer 1

DocumentTermMatrix实际上只是一个带有精美外观的矩阵（slam库中的简单三重矩阵），其中包含每个术语和文档的术语频率。 按作者聚合来自多个文档的数据实际上只是将作者的列加起来。 考虑将矩阵格式化为标准R矩阵，并使用标准子集/聚合方法：

# Format the document term matrix as a standard matrix.
# The rownames of m become the document Id's
# The colnames of m become the individual terms
m <- as.matrix(dtm)

# Transpose matrix to use the "by" operator.
# Rows become individual terms
# Columns become document ids
# Group columns by Author
# Aggregate column sums (word frequencies) for each author, resulting in a list.
author.list <- by(t(m), metadata$Author, colSums)

# Format the list as a matrix and do stuff with it
author.dtm <- matrix(unlist(author.list), nrow = length(author.list), byrow = T)

# Add column names (term) and row names (author)
colnames(author.dtm) <- rownames(m)
rownames(author.dtm) <- names(author.list)

# View the resulting matrix
View(author.dtm[1:10, 1:10])

结果矩阵将是标准矩阵，其中行是作者，列是单独的术语。 此时，您应该可以进行所需的任何分析。

Answer 2

如果可以在表中找到语料库文本，我对此有一个非常粗略的解决方法。 但是，这对于'tm'格式的大型语料库无济于事，但是在其他情况下可能会很方便。 随时对其进行改进，因为它非常粗糙！

custom_term_matrix <- function(author_vector, text_vector)
{
  author_vector <- factor(author_vector)
  temp <- data.frame(Author = levels(author_vector))

  for (i in 1:length(temp$Author)){
    temp$Content[i] <- paste(c(as.character(text_vector[author_vector ==
      levels(author_vector)[i]])), sep=" ", collapse="")
  }

  m <- list(id = "Author", content = "Content")
  myReader <- readTabular(mapping = m)
  mycorpus <- Corpus(DataframeSource(data1), readerControl = list(reader = myReader))

  custom_matrix <<- DocumentTermMatrix(mycorpus, control = 
    list(removePunctuation = TRUE))
}

我可能找不到tm内部的一个函数，所以我将不胜感激！