繁体   English   中英

tm自定义removePunctuation除了标签

tm custom removePunctuation except hashtag

提示:本站收集StackOverFlow近2千万问答,支持中英文搜索,鼠标放在语句上弹窗显示对应的参考中文或英文, 本站还提供   中文繁体   英文版本   中英对照 版本,有任何建议请联系yoyou2525@163.com。

我有来自twitter的推文语料库。 我清理这个语料库(removeWords,tolower,删除URls),最后还想删除标点符号。

这是我的代码:

tweetCorpus <- tm_map(tweetCorpus, removePunctuation, preserve_intra_word_dashes = TRUE)

现在的问题是,通过这样做,我也松开了#标签。 有没有办法用tm_map删除标点符号但保留标签?

2 个回复

我维护的qdap包有strip函数来处理这个,你可以指定不剥离的字符:

library(qdap)

strip("hello #hastag @money yeah!! o.k.", char.keep="#")

这里它适用于Corpus

library(tm)

tweetCorpus <- Corpus(VectorSource("hello #hastag @money yeah!! o.k."))
tm_map(tweetCorpus, content_transformer(strip), char.keep="#")

另外qdapsub_holder函数,它基本上完成了Flick先生的removeMostPunctuation函数的功能,如果它有用的话

removeMostPunctuation <- function(text, keep = "#") {
    m <- sub_holder(keep, text)
    m$unhold(strip(m$output))
}

removeMostPunctuation("hello #hastag @money yeah!! o.k.")

## "hello #hastag money yeah ok"

您可以调整现有的removePunctuation以满足您的需求。 例如

removeMostPunctuation<-
function (x, preserve_intra_word_dashes = FALSE) 
{
    rmpunct <- function(x) {
        x <- gsub("#", "\002", x)
        x <- gsub("[[:punct:]]+", "", x)
        gsub("\002", "#", x, fixed = TRUE)
    }
    if (preserve_intra_word_dashes) { 
        x <- gsub("(\\w)-(\\w)", "\\1\001\\2", x)
        x <- rmpunct(x)
        gsub("\001", "-", x, fixed = TRUE)
    } else {
        rmpunct(x)
    }
}

哪个会给你

removeMostPunctuation("hello #hastag @money yeah!! o.k.")
# [1] "hello #hastag money yeah ok"

当你将它与tm_map一起使用时,但一定要把它包装在content_transformer()

tweetCorpus <- tm_map(tweetCorpus, content_transformer(removeMostPunctuation),
    preserve_intra_word_dashes = TRUE)
3 R包TM中的高效自定义词干

这是一个(似乎)有效的代码,但我正在寻找一种缩短代码的方法。 实现自定义词干或词组。 背景:由于以下原因,我无法使用标准的词干提取方法: 尚未开发针对我正在分析的文本语言的词干算法。 我正在使用代码对含义(但不是拼写)密切相关的术语进行分组,以便稍后将数据提供给聚类算 ...

2018-02-14 11:31:51 0 95   r/ nlp/ tm
4 软件包“ tm”中的“ tm_map”中的自定义函数

我正在尝试将自定义函数添加到软件包tm的tm_map函数中,但是它将数据转换为无法继续的其他格式。 例如我用 错误: 也与该功能docs &lt;- tm_map(docs, rm_url)使用rm_url从qdapRegex包返回一个错误。 ...

2019-04-21 11:37:45 1 34   r/ tm
7 定义自定义标签

我对闪亮的功能tag有些困惑。 例如,如果要定义自定义标签; 例如,我想定义一个FONT标签,那么我会做类似的事情 shiny::tag("FONT", varArgs = list("size=2", "color")) 现在,我将如何使用定义的标签。 例如,使用预定义标签, ...

2016-10-12 21:31:59 1 131   r/ shiny
8 在 tmap (tm_facets) 中删除/自定义构面边框

多亏了 tmap(R 包)和 tm_facets,我创建了一个具有多个方面的图。 我想删除刻面标题的边框(即每个地图顶部的黑色矩形),但我不知道如何。 下面是一个例子: 在此先感谢您的帮助。 ...

10 tm包R中的自定义标记生成器不起作用

请参阅下面的MWE,自定义的令牌生成器不起作用,为什么? tm软件包版本为0.71 输出: 条款 Docs推荐此 1 1 1 [1]“ Th”“ s”“ sa test”“ mon”“ al” 谢谢, 托比亚斯 ...

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2022 STACKOOM.COM