R中矩阵中的项频对列表

Question

我有以下格式的大数据集，其中每一行上都有一个文档，编码为word：文档中的频率，以空格分隔； 线可以是可变长度的：

aword:3 bword:2 cword:15 dword:2
bword:4 cword:20 fword:1
etc...

例如，在第一个文档中，“ aword”出现3次。 我最终想要做的是创建一个小的搜索引擎，在其中对与查询匹配的文档（相同格式）进行排名； 我虽然要使用TfIdf和tm包（基于本教程，但要求数据采用TermDocumentMatrix格式： http : //anythingbutrbitrary.blogspot.be/2013/03/build-search-engine-in- 20-minutes-or.html ）。 否则，我只会在文本语料库上使用tm的TermDocumentMatrix函数，但是这里的问题是我已经以这种格式对这些数据进行了索引（并且我想使用这些数据，除非该格式确实是某种异类并且无法转换）。

到目前为止，我尝试过的是导入行并拆分它们：

docs <- scan("data.txt", what="", sep="\n")
doclist <- strsplit(docs, "[[:space:]]+")

我想我会把这样的事情放在一个循环中：

doclist2 <- strsplit(doclist, ":", fixed=TRUE)

然后以某种方式将成对的值放入数组中，然后运行一个循环，该循环通过从word：freq对中获取合适的值来填充矩阵（预先填充零：matrix（0，x，y））（本身是构造矩阵的好主意吗？）。 但是这种转换方式似乎并不是一种好方法，列表变得越来越复杂，而且我仍然不知道如何达到可以填充矩阵的地步。

我（想想）最后需要的是一个像这样的矩阵：

        doc1 doc2 doc3 doc4 ...
aword   3    0    0    0 
bword   2    4    0    0
cword:  15   20   0    0
dword   2    0    0    0
fword:  0    1    0    0
...

然后我可以将其转换为TermDocumentMatrix并开始使用本教程。 我有一种感觉，我想念的是这里很明显的东西，可能是找不到的东西，因为我不知道这些东西叫什么（我已经搜索了一天，主题是“术语文档向量/数组/对” ”，“二维数组”，“列表到矩阵”等）。

将这样的文档列表转换成术语文档频率矩阵的一种好方法是什么？ 或者，如果解决方案太明显或无法使用内置函数解决：我上面描述的格式的实际术语是什么，一行上有那些term：frequency pair，而每一行都是一个文档？

Answer 1

这是一种获取所需输出的方法：

## Your sample data
x <- c("aword:3 bword:2 cword:15 dword:2", "bword:4 cword:20 fword:1")
## Split on a spaces and colons    
B <- strsplit(x, "\\s+|:")
## Add names to your list to represent the source document
B <- setNames(B, paste0("document", seq_along(B)))
## Put everything together into a long matrix
out <- do.call(rbind, lapply(seq_along(B), function(x) 
  cbind(document = names(B)[x], matrix(B[[x]], ncol = 2, byrow = TRUE,
                                dimnames = list(NULL, c("word", "count"))))))

## Convert to a data.frame
out <- data.frame(out)
out
#    document  word count
# 1 document1 aword     3
# 2 document1 bword     2
# 3 document1 cword    15
# 4 document1 dword     2
# 5 document2 bword     4
# 6 document2 cword    20
# 7 document2 fword     1
## Make sure the counts column is a number
out$count <- as.numeric(as.character(out$count))

## Use xtabs to get the output you want
xtabs(count ~ word + document, out)
#        document
# word    document1 document2
#   aword         3         0
#   bword         2         4
#   cword        15        20
#   dword         2         0
#   fword         0         1

注意 ：已对答案进行编辑，以在创建“ out”时使用矩阵，以最大程度地减少对read.table的调用次数，这将是更大数据的主要瓶颈。