基于标点符号列表替换数据框中的标点符号[重复]

Question

这个问题在这里已有答案：

• 使用pandas 3答案 快速删除标点符号

使用Canopy和Pandas，我有数据框a，其定义如下：

a=pd.read_csv('text.txt')

df=pd.DataFrame(a)

df.columns=["test"]

test.txt是一个单列文件，包含一个包含文本，数字和标点符号的字符串列表。

假设df看起来像：

---

测试

％HGH＆12

ABC123！

porkyfries

---

我希望我的结果是：

---

测试

hgh12

ABC123

porkyfries

---

到目前为止的努力：

from string import punctuation /-- import punctuation list from python itself

a=pd.read_csv('text.txt')

df=pd.DataFrame(a)

df.columns=["test"] /-- define the dataframe


for p in list(punctuation):

     ...:     df2=df.med.str.replace(p,'')

     ...:     df2=pd.DataFrame(df2);

     ...:     df2

上面的命令基本上只返回我相同的数据集。 感谢任何线索。

编辑：我使用Pandas的原因是因为数据很大，跨越了大约1M行，未来编码的使用将应用于最多30M行的列表。 简而言之，我需要以非常有效的方式为大数据集清理数据。

Answer 1

使用replace正确的正则表达式会更容易：

In [41]:

import pandas as pd
pd.set_option('display.notebook_repr_html', False)
df = pd.DataFrame({'text':['test','%hgh&12','abc123!!!','porkyfries']})
df
Out[41]:
         text
0        test
1     %hgh&12
2   abc123!!!
3  porkyfries

[4 rows x 1 columns]

使用带有模式的正则表达式，这意味着不是字母数字/空格

In [49]:

df['text'] = df['text'].str.replace('[^\w\s]','')
df
Out[49]:
         text
0        test
1       hgh12
2      abc123
3  porkyfries

[4 rows x 1 columns]

Answer 2

要从dataframme中的文本列中删除标点符号，请执行以下操作：

在：

import re
import string
rem = string.punctuation
pattern = r"[{}]".format(rem)

pattern

日期：

'[!"#$%&\'()*+,-./:;<=>?@[\\]^_`{|}~]'

在：

df = pd.DataFrame({'text':['book...regh', 'book...', 'boo,', 'book. ', 'ball, ', 'ballnroll"', '"rope"', 'rick % ']})
df

日期：

        text
0  book...regh
1      book...
2         boo,
3       book. 
4       ball, 
5   ballnroll"
6       "rope"
7      rick % 

在：

df['text'] = df['text'].str.replace(pattern, '')
df

您可以用所需的字符替换图案。 前 - 替换（模式，'$'）

日期：

        text
0   bookregh
1       book
2        boo
3      book 
4      ball 
5  ballnroll
6       rope
7     rick  

Answer 3

翻译通常被认为是删除标点符号的最简洁，最快捷的方法（ 来源 ）

import string
text = text.translate(None, string.punctuation.translate(None, '"'))

你可能会发现在将它加载到pandas之前删除'a'中的标点符号会更好。