tm包R中的自定义标记生成器不起作用

Question

请参阅下面的MWE，自定义的令牌生成器不起作用，为什么？ tm软件包版本为0.71

library(tm)

ts <- c("This is a testimonial")
corpDs <- Corpus(VectorSource(ts))

#This is not working
ownTokenizer <- function(x) unlist(strsplit(as.character(x), "i+"))
tdm <- DocumentTermMatrix(corpDs,control=list(tokenize=ownTokenizer))
as.matrix(tdm)

#This is working
ownTokenizer(ts)

输出：

条款

Docs推荐此

1 1 1

[1]“ Th”“ s”“ sa test”“ mon”“ al”

谢谢，

托比亚斯

Answer 1

我知道这现在有点陈旧，但是也许仍然可以帮助其他人：您必须用corpDS <-VCorpus（...）替换corpDS <-Corpus（...），正如TermDocumentMatrix描述中的tm文档所述，“ SimpleCorpus”语料库总是使用固定的分词器进行分词的-没有强制化-“ Corpus”似乎是相同的...