tm :: removePunctuation不会删除R中的所有标点符号？ [重复]

Question

这个问题在这里已有答案：

• 从文本中删除所有标点符号，包括tm包 1答案的 撇号

我在一个dataframe一column中有900K strings 。

我正在尝试清理它们，我使用的一种清洁方法是从R中的tm包中removePunctuation 。

请指导我为什么不删除以下标点符号：

> removePunctuation("grillin’")
[1] "grillin’"
> removePunctuation("’ eggs benedict day")
[1] "’ eggs benedict day"

Answer 1

它适用于ucp = TRUE

tm::removePunctuation("grillin’", ucp = TRUE)

来自?removePunctuation

UCP
指定是否使用Unicode字符属性来确定标点符号的逻辑。 如果为FALSE（默认值），则采用ASCII [：punct：]类中的字符; 如果为TRUE，则字符使用Unicode通用类别P（标点符号）。

所以我假设'来自Unicode一般类别P.

Answer 2

我们可以使用base R sub

sub("’", "", "grillin’") 
#[1] "grillin"

---

如果我们查看?removePunctuation ，默认情况下，某些类别为FALSE ，即ucp

removePunctuation（x，preserve_intra_word_contractions = FALSE，preserve_intra_word_dashes = FALSE，ucp = FALSE，...）

在ucp的文档中，它说

ucp - 如果为FALSE（默认值），则采用ASCII [：punct：]类中的字符; 如果为TRUE，则字符使用Unicode通用类别P（标点符号）。

因此，如果ucp = FALSE的默认选项更改为TRUE ，那么它应该可以工作。 关于字符是否是ASCII，我们可以用grep检查

显示的字符不是ASCII

grep("[[:ascii:]]", "’", perl = TRUE )
#integer(0)
grep("[[:ascii:]]", "'", perl = TRUE)
#[1] 1

---

如果OP使用tm进行定量文本分析，根据这里 ， quanteda可能有更多的功能。

如果我们检查?dfm的Usage （来自quanteda ），大多数清理都会自动发生，因为它们都是默认值TRUE

dfm（x，verbose = TRUE，toLower = TRUE，removeNumbers = TRUE，removePunct = TRUE，removeSeparators = TRUE，removeTwitter = FALSE，stem = FALSE，ignoredFeatures = NULL，keepsFeatures = NULL，language =“english”，thesaurus = NULL， dictionary = NULL，valuetype = c（“glob”，“regex”，“fixed”），...）