tm自定義removePunctuation除了標簽

Question

我有來自twitter的推文語料庫。 我清理這個語料庫（removeWords，tolower，刪除URls），最后還想刪除標點符號。

這是我的代碼：

tweetCorpus <- tm_map(tweetCorpus, removePunctuation, preserve_intra_word_dashes = TRUE)

現在的問題是，通過這樣做，我也松開了＃標簽。 有沒有辦法用tm_map刪除標點符號但保留標簽？

Answer 1

我維護的qdap包有strip函數來處理這個，你可以指定不剝離的字符：

library(qdap)

strip("hello #hastag @money yeah!! o.k.", char.keep="#")

這里它適用於Corpus ：

library(tm)

tweetCorpus <- Corpus(VectorSource("hello #hastag @money yeah!! o.k."))
tm_map(tweetCorpus, content_transformer(strip), char.keep="#")

另外qdap有sub_holder函數，它基本上完成了Flick先生的removeMostPunctuation函數的功能，如果它有用的話

removeMostPunctuation <- function(text, keep = "#") {
    m <- sub_holder(keep, text)
    m$unhold(strip(m$output))
}

removeMostPunctuation("hello #hastag @money yeah!! o.k.")

## "hello #hastag money yeah ok"

Answer 2

您可以調整現有的removePunctuation以滿足您的需求。 例如

removeMostPunctuation<-
function (x, preserve_intra_word_dashes = FALSE) 
{
    rmpunct <- function(x) {
        x <- gsub("#", "\002", x)
        x <- gsub("[[:punct:]]+", "", x)
        gsub("\002", "#", x, fixed = TRUE)
    }
    if (preserve_intra_word_dashes) { 
        x <- gsub("(\\w)-(\\w)", "\\1\001\\2", x)
        x <- rmpunct(x)
        gsub("\001", "-", x, fixed = TRUE)
    } else {
        rmpunct(x)
    }
}

哪個會給你

removeMostPunctuation("hello #hastag @money yeah!! o.k.")
# [1] "hello #hastag money yeah ok"

當你將它與tm_map一起使用時，但一定要把它包裝在content_transformer()

tweetCorpus <- tm_map(tweetCorpus, content_transformer(removeMostPunctuation),
    preserve_intra_word_dashes = TRUE)