我可以通过索引访问 Parquet 文件而不将整个文件读入 memory 吗？

Question

我刚刚读到 HDF5 允许您访问数据，而无需将整个文件读入 memory。

在没有 Java（非 pyspark 解决方案）的 Parquet 文件中，这种寻找行为是否可行？ 由于强大的 dtype 支持，我正在使用 Parquet。

import h5py

f = h5py.File('my_file.hdf5', 'w')
dset = f.create_dataset('coords', data=my_ndarray)
f.close()

f = h5py.File('my_file.hdf5', 'r')
dset = f['coords']
my_array = dset[-2:]

https://arrow.apache.org/docs/python/parquet.html#inspecting-the-parquet-file-metadata

我在这里看到 Parquet 元数据有num_row_groups: 1 (or more) 。 但我不确定这如何帮助我获取行 [23、42、117、99293184]。

Answer 1

Parquet 允许部分/随机访问 forms。 但是，它是有限的。 每个 parquet 文件由一个或多个行组组成，每个 parquet 文件由一个或多个列组成。 您可以检索所需的行组和列的任意组合。

只有一种方法可以将列存储在 parquet 文件中。 但是，如何将行分配到行组取决于文件的创建者。 创建者可以将每一行放在自己的行组中（尽管这样效率太低），或者他们可以选择为整个文件使用一个行组（这很常见）。

这意味着进行部分读取的能力将取决于文件的创建方式。 如果您正在创建文件并且您提前知道要执行哪些类型的读取来访问数据，您可以使用它来创建行组。 如果您不提前知道访问模式，或者您无法控制正在阅读的文件的创建，那么您可能必须将整个文件读入 memory 并稍后过滤。

另一种常见情况是跨多个文件存储单个大型数据集（以便每个文件中有一些行）。 这允许您从多个行组中获得相同类型的部分读取行为。 但是，拥有多个文件有时更易于管理。

pyarrow 和 fastparquet 都应该为您提供用于过滤行组的 API。 它们还公开 parquet 文件元数据，以便您可以自己访问元数据信息以实现一些自定义过滤机制。