MonetDB 11.41.5 中的“未能擴展 BAT”錯誤

Question

我正在使用 MonetDB 11.41.5，我正在嘗試使用 COPY INTO 將一個非常大的 CSV 文件（70 Gb）批量上傳到表中。

幾分鍾后，我收到以下消息：

我檢查了磁盤空間，我仍然有超過 60 Gb 的可用空間：

這還不足以完成批量加載嗎？

重要提示：如果我使用 MonetDB 11.39.11 批量加載相同的大文件，它會毫無問題地完成。 與版本 11.41.5 有什么區別？

謝謝你。

更新信息

這個大的 CSV 文件包含 2.25 億行，所以我在 COPY INTO 語句中指定了記錄數。

我從 2.3 億開始，但我得到了錯誤。 然后，我跟着較小的數字直到 8000 萬，這似乎工作正常！

那么，這里的問題是磁盤空間嗎？ 我還需要多少才能完成負載以及為什么版本 11.39.11 的行為方式不同？

Answer 1

隨着 2021 年 7 月的發布，MonetDB 的事務層得到了徹底的改造。 通常，新算法具有更好和更穩定的性能，但更改的副作用是 COPY INTO 當前在加載時需要更多暫存空間。

在一次試驗中，我運行加載了一個 65GB csv 文件，在 Oct2020 數據庫目錄增長到 38G 並保持在那里。 2021年7月，大小上上下下最大58G，最終落戶41G。 38G 和 41G 之間的差異，可能是由於最終會釋放的暫存空間。

根據這些數字，60G 的可用空間不足以加載 70G 的文件聽起來完全合理。 可能的解決方案是，

1. 找到更多磁盤空間，或
2. 以較小的批次加載數據。

如果您使用的是類 Unix 系統，例如 Linux 或 macOS，則split實用程序可能對選項 2 派上用場。