在 Python C 扩展中使用来自 PyObjects 的数据而不持有 GIL

Question

在我的 Python C 扩展中，我正在对字符串的可迭代执行操作。 因此，在第一步中，我调用PySequence_Fast将其转换为列表，然后遍历元素。 对于每个字符串，我使用PyUnicode_DATA然后使用一些标准比较字符串。 所以我只从 PyObjects 中读取，但从不修改它们。

现在我想并行处理列表，这需要我释放 GIL。 但是我不知道这对我的用例有什么影响。 以下是我目前的想法：

1. 我仍然可以使用这些 API，因为它们只是宏，可以直接从 PyObjects 读取而不修改它们。

2. 我必须事先使用 API 并存储一个结构数组，这些结构包含字符串的kind 、 length和data pointer

3. 我必须事先使用 API，并且必须将字符串的副本存储在数组中

案例 1 的性能最高，memory 效率最高。 但是，如果没有获得 GIL，则不允许在 Python 对象上执行（这是否包括读取权限）或使用 Python/C API 函数。

案例 2 将是下一个最有效的，因为至少我不必复制所有字符串。 但是，当我在 GIL 被释放时不允许从 Python 对象中读取时，我想知道是否允许我使用指向 PyObject 内部数据的指针。

案例 3 将要求我复制所有字符串。 就我而言，这可能会使多线程解决方案比顺序解决方案慢。

我希望有人能帮助我了解在 GIL 发布期间我可以做什么。

Answer 1

我认为官方的回答是你不应该使用方法 1，而应该使用方法 2 和 3。虽然它现在可能有效，但将来可能会发生变化并中断。 如果您想支持 PyPy 的 C-API 包装器（它很可能在内部使用与 Python 不同的表示）之类的东西，这一点尤其重要。 有越来越多的举措试图隐藏您可能会被抓住的实施细节。

实际上，我认为方法 1 可以正常工作，前提是您只使用没有错误检查的宏 forms - GIL 主要是关于停止同时写入将 Python 对象放在未定义的 Z9ED39E2EA931586B6A985A6942EF5 中，并且您正在这样做。 我要稍微小心的是，如果您曾经拥有（已弃用）“非规范”unicode 对象 - 看起来像PyUnicode_READY之类的“宏-y”对象可能会导致它们被修改为规范 state。 同样，要特别警惕 C-API 的替代（非 CPython）实现。

要考虑的一种替代方法是使用缓冲区协议。 虽然我在文档中找不到明确说明，但想法是PyObject_GetBuffer和PyBuffer_Release需要 GIL，但读/写缓冲区不需要。 这里我有两个子建议：

• 你能有一个像 Numpy 数组一样的 object 数组，它将所有字符串作为缓冲区公开吗？
• 您还可以从 unicode object （作为 utf-8 C 字符串）获取缓冲区 - 要做的事情是使用 GIL 创建所有缓冲区，并使用 GIL 进行免费处理。 这样做的开销可能是低效的。 这基本上是方法 2 的“官方”版本。

---

我简短地说，你可能会侥幸逃脱，但如果它打破了，我怀疑向 Python 的错误报告会受到好评（因为它在技术上是错误的）