我有来自twitter的推文语料库。 我清理这个语料库(removeWords,tolower,删除URls),最后还想删除标点符号。

这是我的代码:

tweetCorpus <- tm_map(tweetCorpus, removePunctuation, preserve_intra_word_dashes = TRUE)

现在的问题是,通过这样做,我也松开了#标签。 有没有办法用tm_map删除标点符号但保留标签?

#1楼 票数:8

我维护的qdap包有strip函数来处理这个,你可以指定不剥离的字符:

library(qdap)

strip("hello #hastag @money yeah!! o.k.", char.keep="#")

这里它适用于Corpus

library(tm)

tweetCorpus <- Corpus(VectorSource("hello #hastag @money yeah!! o.k."))
tm_map(tweetCorpus, content_transformer(strip), char.keep="#")

另外qdapsub_holder函数,它基本上完成了Flick先生的removeMostPunctuation函数的功能,如果它有用的话

removeMostPunctuation <- function(text, keep = "#") {
    m <- sub_holder(keep, text)
    m$unhold(strip(m$output))
}

removeMostPunctuation("hello #hastag @money yeah!! o.k.")

## "hello #hastag money yeah ok"

#2楼 票数:7 已采纳

您可以调整现有的removePunctuation以满足您的需求。 例如

removeMostPunctuation<-
function (x, preserve_intra_word_dashes = FALSE) 
{
    rmpunct <- function(x) {
        x <- gsub("#", "\002", x)
        x <- gsub("[[:punct:]]+", "", x)
        gsub("\002", "#", x, fixed = TRUE)
    }
    if (preserve_intra_word_dashes) { 
        x <- gsub("(\\w)-(\\w)", "\\1\001\\2", x)
        x <- rmpunct(x)
        gsub("\001", "-", x, fixed = TRUE)
    } else {
        rmpunct(x)
    }
}

哪个会给你

removeMostPunctuation("hello #hastag @money yeah!! o.k.")
# [1] "hello #hastag money yeah ok"

当你将它与tm_map一起使用时,但一定要把它包装在content_transformer()

tweetCorpus <- tm_map(tweetCorpus, content_transformer(removeMostPunctuation),
    preserve_intra_word_dashes = TRUE)

  ask by feder80 translate from so

未解决问题?本站智能推荐:

2回复

使用带有tm包的R时如何准确删除标点符号

更新: 我想我可能有一个解决方法来解决这个问题,只需添加一个代码: dtms = removeSparseTerms(dtm,0.1)它将删除语料库中的稀疏字符。 但我认为这只是一种解决方法,还在等待专家的回答! 最近我正在使用tm包学习R中的文本挖掘。 我有一个想法,就最大频
1回复

除去微笑以外的标点符号-R,TM软件包

我在R中使用tm包。我想从此文本中删除除微笑以外的所有标点符号。 我努力了 library(tm) data <- gsub("[^az]", " ", data, ignore.case = TRUE) 即删除所有标点符号,包括微笑,作为输出 当我需要的时候
2回复

如何编写自定义removePunctuation()函数来更好地处理Unicode字符?

在tm文本挖掘R包的源代码中,在文件transform.R中 ,有removePunctuation()函数,当前定义为: 我需要从科学会议中解析并挖掘一些摘要(从他们的网站上获取为UTF-8)。 摘要包含一些需要删除的unicode字符,特别是在字边界处。 有通常的ASCII标点字
1回复

软件包“ tm”中的“ tm_map”中的自定义函数

我正在尝试将自定义函数添加到软件包tm的tm_map函数中,但是它将数据转换为无法继续的其他格式。 例如我用 错误: 也与该功能docs <- tm_map(docs, rm_url)使用rm_url从qdapRegex包返回一个错误。
1回复

使用tm_map的自定义函数来维护用户定义的元数据

我有一个函数,可用于根据键/值字典转换令牌。 此功能对于meta`Author可以正常使用: 但是,当我尝试通过函数的稍微修改的版本传递用户定义的元数据(例如TextID , 我懂了
1回复

如何在R中使用带有tm包的自定义词干算法?

如何用一个更适合我需求的R包tm中的基于搬运工的词干器替换? 在这种情况下,它是cistem( https://github.com/FlorianSchwendinger/cistem/ )。 但是,Cistem将单个单词(或向量)作为参数: 而内置词干分析器需要整个文档
1回复

tm包R中的自定义标记生成器不起作用

请参阅下面的MWE,自定义的令牌生成器不起作用,为什么? tm软件包版本为0.71 输出: 条款 Docs推荐此 1 1 1 [1]“ Th”“ s”“ sa test”“ mon”“ al” 谢谢, 托比亚斯
2回复

在 tm 包 (R) 中使用大型自定义停用词列表的问题

我相信你们很多人以前都见过这个: 这一次,当我尝试从语料库中删除自定义停用词列表时,出现错误。 它适用于小的停用词列表(我一直尝试到 100 左右),但我目前的停用词列表大约有 42000 个单词。 我试过这个: 这不会给我一个错误,但是在此之后的每个 tm_map 命令都会给我同样的