从镶木地板文件中查询值小于特定数量的排序列的最后一行

Question

我有一个大型镶木地板文件，其中一列中的数据已排序。 下面是一个非常简化的示例。

    X   Y
0   1   Red
1   5   Blue
2   8   Green
3   12  Purple
4   15  Blue
5   17  Purple

我有兴趣查询 Y 列的最后一个值，因为 X 以最有效的方式使用 python 小于某个数量。

我保证 X 列按升序排序。

例如，假设 X 小于 11，我希望 Y 值为“绿色”。

我尝试了以下方法：

columns='Y'
filters=[('X','<',11]

pd.read_parquet('my_data.parquet',filters=filters,columns=columns).tail(1)

上面的代码“有效”，但我希望可以进行优化，因为此查询每天运行 100 万次以上。

parquet 文件太大，无法读入 memory。

我无法为“X”列设置起始值，因为无法保证 X 值之间的差距大小。例如，如果我要求“X > 10 和 X < 11”，我将得不到返回 Y 的值。

我希望鉴于数据已排序这一事实，有一种方法可以对其进行优化。

我愿意使用 DuckDB 或其他一些库来执行此操作。

Answer 1

我认为这就是.search_sorted()的用途。

您还可以使用.scan_parquet()来延迟加载数据而不是.read_parquet()

您可能需要使用when/then来处理第一行匹配的情况 - 并使用索引0而不是row - 1 - 或者没有匹配的情况（如果可能的话）。

(pl.scan_parquet("search.parquet")
   .select(
      pl.col("Y")
        .take(pl.col("X").search_sorted(11, side="left") - 1)
).collect()

shape: (1, 1)
┌───────┐
│ Y     │
│ ---   │
│ str   │
╞═══════╡
│ Green │
└───────┘