Jupyter ipython kernel 在大文件加载时死机

Question

我有一个大小约为 10gbs 的巨大二进制文件，我想将其加载到 Jupyter 笔记本上的 pandas dataframe 中。 我正在使用以下代码创建 dataframe：

df = pd.DataFrame(np.fromfile('binary_file.dat', dtype = mydtype)) #the file has over 20 columns of dtype '<f8'

每次我运行这个命令时，我的 kernel 都会死掉。 在调试时，我发现 np.fromfile 命令通过但 pd.dataframe 命令是导致崩溃的命令。 我在 4 核、16 GB Ubuntu AWS 服务器上运行它。 我试过设置

os.environ['KMP_DUPLICATE_LIB_OK'] = '真'

根据 Stackoverflow 的回答，但它没有帮助。 如何在不使 kernel 崩溃的情况下读取此文件？ 是否可以在不增加服务器 RAM 的情况下做到这一点？

感谢您提供任何和所有帮助。 谢谢

Answer 1

尝试

df = pd.read_csv('.....\binary_file.dat' , sep="however you dat-file is separated",engine ='python')