导入pyarrow时出现ModuleNotFoundError

Question

尝试通过 pyarrow 依赖项升级时遇到导入错误。 更具体地说，它因以下导入而失败：

from pyarrow import dataset as pa_ds

这将给出以下错误

文件“[ENV]/lib/python3.8/site-packages/pyarrow/dataset.py”，第 24 行，从 pyarrow._dataset 导入（#noqa ModuleNotFoundError: No module named 'pyarrow._dataset'

我在 pyarrow 3.0.0 和 2.0.0 都遇到了这个问题。 不过，同样的导入适用于 pyarrow 1.0.1。 我通过 conda 安装了 pyarrow。 真的不知道这里出了什么问题。

Answer 1

这为我解决了这个错误。 请注意，我是从源代码构建的。

$ export PYARROW_WITH_DATASET=1

前：

>>> import pyarrow
>>> import pyarrow.dataset
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/Users/diana/workspace/arrow/python/pyarrow/dataset.py", line 23, in <module>
    from pyarrow._dataset import (  # noqa

后：

$ cd workspace/arrow/python/
$ export PYARROW_WITH_DATASET=1
$ python setup.py build_ext --inplace
$ python
>>> import pyarrow
>>> import pyarrow.dataset
>>> 
>>> print("happy dance!")