拆分文本文件以在R中创建语料库

Question

我有一个包含100条文章的文本文件。 每篇文章的末尾都是Document，后跟一个空格 ，然后是一个字母数字 。 字母数字长度为25个字符。

四篇文章的结尾示例。字母数字没有固定的模式。

• 文件AFNR000020161206ecc700006
• 文档TEKMET0020161202ecc200008
• 文件AFNR000020161130ecc10001o
• 文件AFNR000020161127ecbs00018

我的代码读取R中的文本文件并拆分文本文件

textfile <- "Text.txt"
TextData <-readLines(textfile)
head(TextData)
length(TextData)

 nchar(TextData)
 TextData = strsplit(TextData, "<Document>" "[a-zA-Z0-9]")

我坚持使用strsplit在Document alphanumeric上创建拆分。

拆分后，我可以创建一个语料库：

library(tm)
doc.vec <- VectorSource(TextData)
corpusDoc <- Corpus(doc.vec)
summary(corpusDoc)

谢谢

Answer 1

尚不清楚您的数据看起来像什么，但是假设它只是一个长字符串，并且“文档字母数字代码”与​​文本的其余部分一致，则应该可以进行以下操作：

# mock data
TextData <- "Lorem ipsum dolor sit amet, consectetur adipiscing elit. Nullam egestas sapien eu leo rutrum, non commodo metus auctor. Quisque id libero quis augue bibendum auctor sed vel odio. Aliquam quam odio, maximus vitae elit at, pharetra volutpat nulla. Nam iaculis mattis lectus, sit amet euismod neque ornare consectetur. Cras nec nibh sit amet massa laoreet tempor sit amet in sem. Sed pulvinar sapien risus, molestie cursus augue rhoncus sed. Donec ullamcorper tellus vel tortor finibus pretium. Sed non tristique nisi. Document AFNR000020161206ecc700006 Vestibulum quis risus pulvinar elit blandit faucibus sed et massa. Phasellus non arcu vulputate, aliquam felis sit amet, pellentesque lorem. Praesent ut felis pellentesque, tincidunt risus imperdiet, vehicula ante. Donec odio sapien, vulputate sed semper at, pharetra sit amet dui. Fusce aliquam ullamcorper nunc in ullamcorper. Suspendisse vitae ex aliquam turpis vestibulum semper at ut quam. Interdum et malesuada fames ac ante ipsum primis in faucibus. Nam varius, risus sed feugiat mollis, nunc urna hendrerit mi, eu cursus erat mi quis ligula. Maecenas sit amet sagittis tellus. Donec ultricies faucibus ipsum id mattis. Ut lacinia, diam nec dignissim vestibulum, nibh augue tincidunt dolor, eu dictum felis augue in elit. Sed et scelerisque felis. Document TEKMET0020161202ecc200008 Aenean ut erat mattis, convallis orci eget, tincidunt massa. Integer dictum in erat et ornare. Donec et cursus eros. Aenean condimentum erat in lacus dictum, ac convallis tortor venenatis. Donec luctus dapibus aliquam. Maecenas et ipsum ac lacus convallis luctus. Phasellus volutpat risus sit amet volutpat vestibulum. Vestibulum eu elit sed massa imperdiet congue id interdum odio. Document AFNR000020161130ecc10001o Proin et accumsan nisi. Suspendisse tempus accumsan mollis. Integer aliquam fermentum consequat. Nunc sit amet suscipit tellus, in fringilla diam. Nulla rutrum elit nec blandit varius. Praesent vehicula nibh orci, nec facilisis sem vulputate non. Cras vel ipsum eleifend, vulputate ante congue, facilisis ligula. Integer ac mollis nibh. Ut vitae lacus eget mauris ultrices iaculis non eget diam. Praesent placerat lorem id ante maximus cursus. Ut quis lacus nec turpis tincidunt sagittis lacinia at tortor. Cras vitae posuere diam. Maecenas ut convallis lacus, in commodo neque. Sed rhoncus cursus arcu, nec pharetra odio lacinia quis. Sed nec neque libero. Etiam sit amet purus eros. Document AFNR000020161127ecbs0001"

# split on desired string
TextData <- strsplit(TextData, "Document [a-zA-Z0-9]{25}")

# if you want it as a vecotr
TextData <- unlist(TextData)

似乎问题出在strsplit函数中定义正则表达式的方式。