为什么在Python 3中未编译，重复使用的正则表达式如此之慢？

Question

在回答这个问题时 （并且已经阅读了类似问题的答案 ），我认为我知道Python如何缓存正则表达式。

但后来我想我会测试它，比较两种情况：

1. 单个正则表达式的单个汇编，然后编译正则表达式的10个应用程序。
2. 10个未编译的正则表达式的应用程序（我希望性能稍差一些，因为正则表达式必须编译一次，然后缓存，然后在缓存中查找9次）。

然而，结果是惊人的（在Python 3.3中）：

>>> import timeit
>>> timeit.timeit(setup="import re", 
... stmt='r=re.compile(r"\w+")\nfor i in range(10):\n r.search("  jkdhf  ")')
18.547793477671938
>>> timeit.timeit(setup="import re", 
... stmt='for i in range(10):\n re.search(r"\w+","  jkdhf  ")')
106.47892003890324

这慢了5.7倍！ 在Python 2.7中，仍然增加了2.5倍，这也超出了我的预期。

在Python 2和3之间是否更改了正则表达式的缓存？ 文档似乎没有暗示这一点。

Answer 1

代码已经改变。

在Python 2.7中，缓存是一个简单的字典; 如果存储了多个_MAXCACHE项目，则在存储新项目之前清除整个缓存。 缓存查找只需要构建一个简单的密钥并测试字典，请参阅_compile()的2.7实现

在Python 3.x中，缓存已被@functools.lru_cache(maxsize=500, typed=True)装饰器取代。 这个装饰器做了很多工作，包括一个线程锁，调整缓存LRU队列和维护缓存统计信息（可通过re._compile.cache_info()访问）。 请参阅_compile()和functools.lru_cache()的3.3.0实现 。

其他人注意到同样的减速，并在Python bugtracker中提交了16389问题 。 我希望3.4再快一点; lru_cache实现得到改进，或者re模块将再次移动到自定义缓存。

更新：使用版本4b4dddd670d0（hg）/ 0f606a6（git） ，缓存更改已恢复为3.1中的简单版本。 Python版本3.2.4和3.3.1包含该版本。

从那时起，在Python 3.7中，模式缓存被更新为基于常规dict的自定义FIFO缓存实现 （依赖于插入顺序，与LRU不同，不考虑最近在驱逐时缓存中已有的项目） 。