python中的xarray是否有文件大小限制？

Question

我想使用xarray打開netCDF4數據集。

我有兩個例子。 一個大文件，時間序列超過300萬點（3.2GB）。 一個小文件，時間序列中有9999個點（9.8 MB）。 此代碼將打開小文件。

ds = xr.open_dataset(smallfile, chunks={'rec': 3600}, decode_times=False)

如果我使用大文件，我會收到一個未知錯誤。 在安裝了miniconda的兩台不同的Windows機器上，行為是一致的。

這里發生了什么？ 我還應該檢查什么？

提前致謝。

Answer 1

xarray和netCDF4-Python都沒有文件大小限制。 它們已成功用於10-100GB范圍內的文件。

您的問題看起來與此netCDF4-Python問題中報告的類似，用於使用Python 3在Windows上讀取大型文件： https ： //github.com/Unidata/netcdf4-python/issues/535

更廣泛地說，您可能會遇到netCDF文件格式本身的限制 。 xarray通過netCDF4-Python和h5netcdf支持的版本4基於HDF5，沒有文件大小限制。 xarray通過netCDF4-Python和scipy支持的版本3具有2GB的文件大小限制，除非使用“64位偏移”版本（即使每個變量仍然具有<4GB的限制）。