python中的xarray是否有文件大小限制？

Question

我想使用xarray打开netCDF4数据集。

我有两个例子。 一个大文件，时间序列超过300万点（3.2GB）。 一个小文件，时间序列中有9999个点（9.8 MB）。 此代码将打开小文件。

ds = xr.open_dataset(smallfile, chunks={'rec': 3600}, decode_times=False)

如果我使用大文件，我会收到一个未知错误。 在安装了miniconda的两台不同的Windows机器上，行为是一致的。

这里发生了什么？ 我还应该检查什么？

提前致谢。

Answer 1

xarray和netCDF4-Python都没有文件大小限制。 它们已成功用于10-100GB范围内的文件。

您的问题看起来与此netCDF4-Python问题中报告的类似，用于使用Python 3在Windows上读取大型文件： https ： //github.com/Unidata/netcdf4-python/issues/535

更广泛地说，您可能会遇到netCDF文件格式本身的限制 。 xarray通过netCDF4-Python和h5netcdf支持的版本4基于HDF5，没有文件大小限制。 xarray通过netCDF4-Python和scipy支持的版本3具有2GB的文件大小限制，除非使用“64位偏移”版本（即使每个变量仍然具有<4GB的限制）。