如何读取大文件为 Pandas dataframe？

Question

我想读取一个大文件（4GB）作为 Pandas dataframe。 Since using Dask directly still consumes maximum CPU, I read the file as a pandas dataframe, then use dask_cudf , and then convert back to a pandas dataframe.

但是，我的代码仍在 Kaggle 上使用最大 CPU。 GPU 加速器已打开。

import pandas as pd 
from dask import dataframe as dd
from dask_cuda import LocalCUDACluster
from dask.distributed import Client
cluster = LocalCUDACluster()
client = Client(cluster)

df = pd.read_csv("../input/subtype-nt/meth_subtype_normal_tumor.csv", sep="\t", index_col=0)
ddf = dask_cudf.from_cudf(df, npartitions=2)
meth_sub_nt = ddf.infer_objects()

Answer 1

我有类似的问题。 通过一些研究，我开始了解Vaex 。

您可以在此处和此处阅读有关其性能的信息。

本质上，这是您可以尝试做的事情：

1. 使用 Vaex 读取csv文件并将其转换为hdf5文件（针对 Vaex 最优化的文件格式）

    vaex_df = vaex.from_csv('../input/subtype-nt/meth_subtype_normal_tumor.csv', convert=True, chunk_size=5_000)

2. 使用 Vaex 打开hdf5文件。 Vaex 将进行内存映射，因此不会将数据加载到 memory 中。

    vaex_df = vaex.open('../input/subtype-nt/meth_subtype_normal_tumor.csv.hdf5')

现在您可以对 Vaex dataframe 执行操作，就像对 Pandas 进行操作一样。 它将非常快，您肯定会注意到巨大的性能提升（较低的 CPU 和 memory 使用率）。

您也可以尝试将csv文件直接读入 Vaex dataframe 而不将其转换为hdf5 。 我在某处读到 Vaex 处理hdf5文件的速度最快，因此我建议采用上述方法。

vaex_df = vaex.from_csv('../input/subtype-nt/meth_subtype_normal_tumor.csv.hdf5', chunk_size=5_000)

Answer 2

现在您的代码建议您首先尝试使用pandas加载数据，然后将其转换为dask-cuDF dataframe。 这不是最优的（或者甚至可能不可行）。 相反，可以使用dask_cudf.read_csv function（参见 文档）：

from dask_cudf import read_csv

ddf = read_csv('example_output/foo_dask.csv')