导入 Gensim/Word2Vec 在 Databricks 中不稳定

Question

我只是简单地从 gensim.models 导入 import Word2Vec，但几天后我不断收到以下错误：

ValueError: numpy.ndarray size changed, may indicate binary incompatibility. Expected 96 from C header, got 80 from PyObject

我尝试将我的 Numpy package 更新到 1.24.1（最新）和 Gensim package 4.3.0，但我仍然遇到同样的问题。

有关详细信息，我在 Databricks 中使用 Python 版本 3.8.10。

有什么想法吗？ 谢谢

Answer 1

ValueError：numpy.ndarray 大小已更改，可能表示二进制不兼容。 预期 96 来自 C header，从 PyObject 得到 80

由于对版本中的 NumPy 的 API 进行了修改而发生。 升级您的numpy模块版本将解决此问题。 几天前，只发布了 ne numpy版本 1.25.0。

尝试在笔记本中卸载并重新安装numpy或升级版本。

#uninstall install versions
%sh
pip uninstall numpy
pip install numpy

#upgrade version
pip install numpy --upgrade

也可以尝试使用不同gensim版本。

我能够成功安装：

Answer 2

感谢@gojomo 和@pratik-lad 的反馈。

我发现解决“二进制不兼容”问题的最佳解决方案是编辑我的 Databricks 集群并将Databricks 运行时版本从 10.1 升级到 12.0。

我现在可以使用这些版本安装gensim ：

Python 3.9.5
NumPy 1.21.5
SciPy 1.7.3