从 R 中的文本中删除停用词

Question

我在从文本数据中删除 stop_words 时遇到问题。 该数据集是网络抓取的，包含客户评论，如下所示：

data$Review <- c("Won't let me use my camera", "Does not load","I'ts truly mind blowing!")

我进行了以下数据操作，并在数据框中创建了一个新变量，现在评论看起来像这样：

Manipulation Part: 
data$Proc_Review <- gsub("'", "", data$Review) # Removes Apostrophes white spaces
data$Proc_Review <-  gsub('[[:punct:] ]+',' ',data$Proc_Review) # Remove Punctuation 
data$Proc_Review <- gsub('[[:digit:]]+', '', data$Proc_Review) # Remove numbers
data$Proc_Review <- as.character(data$Proc_Review)
"wont let me use my camera", "does not load", "its truly mind blowing"

下一步是删除停用词，为此我使用以下代码：

    data("stop_words")

j<-1
for (j in 1:nrow(data)) {
  description<-  anti_join((data[j,] %>% unnest_tokens(word,Proc_Review, drop=FALSE,to_lower=FALSE) ),stop_words)
  data[j,"Proc_Review"]<-paste((description),collapse = " ")
}

之后的输出是

c(1, 1) c(17304, 17304) c(\"Won't let me use my camera\", \"Won't let me use my camera\") c(1, 1) c(1, 1) c(32, 32) c(4, 4) c(\"wont let me use my camera\", \"wont let me use my camera\") c(\"wont\", \"camera\")"

我尝试了其他一些方法，但是，结果不是想要的，因为它从一些评论中删除了一些停用词，但不是针对所有评论。 例如，它在某些评论中删除了“it's”，但在某些评论中保留了“it's”。

我想要做的是评论出现在数据集中的新列中，没有停用词！ 非常感谢你！

Answer 1

无需使用for循环。 此外，您的数据处理中存在错误。 在第 2 步和第 3 步中，您使用原始向量。 因此，您在前面的步骤中所做的所有处理都会被覆盖。

library(tidytext)
library(dplyr)

data("stop_words")

df <- data.frame(
  Review = c("Won't let me use my camera", "Does not load","I'ts truly mind blowing!")
)

df$Proc_Review <- gsub("\\'", "", df$Review) # Removes Apostrophes white spaces
df$Proc_Review <-  gsub('[[:punct:] ]+',' ',df$Proc_Review) # Remove Punctuation 
df$Proc_Review <- gsub('[[:digit:]]+', '', df$Proc_Review) # Remove numbers
df$Proc_Review <- as.character(df$Proc_Review)

df %>%
  unnest_tokens(word, Proc_Review, drop = FALSE, to_lower = FALSE)  %>%
  anti_join(stop_words)
#> Joining, by = "word"
#>                       Review               Proc_Review    word
#> 1 Won't let me use my camera Wont let me use my camera    Wont
#> 2 Won't let me use my camera Wont let me use my camera  camera
#> 3              Does not load             Does not load    Does
#> 4              Does not load             Does not load    load
#> 5   I'ts truly mind blowing!   Its truly mind blowing      Its
#> 6   I'ts truly mind blowing!   Its truly mind blowing     mind
#> 7   I'ts truly mind blowing!   Its truly mind blowing  blowing

^{由reprex 包（v2.0.1）于 2022-06-04 创建}