Python搜索並替換大文件的正則表達式

Question

在python中使用正則表達式列表搜索和替換1GB文件中的一些特殊字符

def myreplace(text, dic):
    for i, j in dic.iteritems():
    text = text.replace(i, j)
    return text 

rep={"&":"and","-":"",'?':''}

achive=map(lambda x: myreplace(x, rep), achive) 

目前，在1 GB的測試文件中，性能還不錯。 想知道是否有可能使其性能更好。 在NLTK中是否有更好的方法可以做到這一點？

Answer 1

對於需要刪除的兩個單個字符，而對“與”號僅替換一個字符，使用翻譯可能更快。 這樣，您只分析字符串兩次，而不是三次。

achive = achive.translate(None, '-?').replace('&', 'and')