cost 265 ms
在 Polars 中进行“索引”查找的最快方法是什么? - What is the fastest way to do "indexed" look-ups in Polars?

我正在处理在 memory 中完全加载的大型极地数据帧。每一行都由列 entityId (Int64) 和 entryDate (date) 唯一索引。 我知道 poalars 没有索引,但我仍然需要对这些表进行临时数据查找,而且它非常频繁,占用了我应用程序运行时间的很大一部分。 目前我正在使用. ...

从镶木地板文件中查询值小于特定数量的排序列的最后一行 - Querying last row of sorted column where value is less than specific amount from parquet file

我有一个大型镶木地板文件,其中一列中的数据已排序。 下面是一个非常简化的示例。 我有兴趣查询 Y 列的最后一个值,因为 X 以最有效的方式使用 python 小于某个数量。 我保证 X 列按升序排序。 例如,假设 X 小于 11,我希望 Y 值为“绿色”。 我尝试了以下方法: 上面的代码“有效”,但 ...

给定一个包含 n 列数字的数据框,您如何计算所有列对组合的 Pearson 相关性? - Given a data frame with n columns of numbers, how could you calculate the Pearson correlation of all column-pair combinations?

假设我有一个这样的 Polars 数据框: 我正在寻找计算所有列(日期一除外)的每个对组合之间的 Pearson 相关性。 结果看起来像这样: 我的直觉是我需要执行以下操作: 获取列 [1..] 的笛卡尔积作为新数据框。 使用 Polars 表达式,计算每个序列对的pearson_corr 。 我 ...

Polars 案例说明 - Polars Case Statement

我正在尝试从 Python 中提取package 极坐标。我来自 R 背景,所以请理解这可能是一个非常简单的问题。 我想实现一个 case 语句,如果以下任何条件为真,它会将其标记为 1,否则将为 0。我的新列将被称为“my_new_column_flag” 但是我收到错误消息回溯(最近调用最后): ...

如何将 Poisson CDF 写成 Python 极坐标表达式 - How to Write Poisson CDF as Python Polars Expression

我有一个极坐标表达式集合,用于为 ML model 生成特征。我想向这个集合添加一个 poission cdf 特征,同时保持惰性执行(具有速度、缓存等优势)。 到目前为止,我还没有找到实现这一目标的简单方法。 我已经能够在所需的惰性表达式框架之外获得我想要的结果: 但是,实际上我希望它看起来像: ...

Polars 消息:eval_binary_same_type,(left_aexpr, +, right_aexpr) = None - Polars message: eval_binary_same_type!(left_aexpr, +, right_aexpr) = None

在运行一些简单的 polars 代码时,我遇到了标题中的消息。 下面提供了示例代码及其输出: 我很好奇这条消息是什么意思。 第一个表达式给了我两个这样的信息。 我怀疑它应该与类型差异有某种关系。 所以,在第二个表达式中,我将它们转换为相同的类型,但这次我仍然收到一条这样的消息(尽管第一次少于 2 ...

Polars 相当于 SQL `COUNT(DISTINCT expr,[expr...])`,或其他检查唯一性的方法 - Polars equivalent to SQL `COUNT(DISTINCT expr,[expr...])`, or other method of checking uniqueness

在处理数据时,我经常在每个步骤之后添加一个检查,以验证数据是否仍然具有我认为的唯一键。 例如,我可能会检查我的数据在(a, b)上是否仍然是唯一的。 为此,我通常会检查a列和b列的不同组合数是否等于总行数。 在极地中,要获得COUNT(DISTINCT...)我可以做( df .select ...

Polars 模块没有将数据帧附加到 output 文件的方法吗? - Does Polars module not have a method for appending DataFrames to output files?

很抱歉这个问题,但我从 polars 图书馆开始。 我正在阅读 Polars DataFrame 的文档,发现任何.write_*方法都有参数mode 。 虽然 pandas DataFrame 具有.to_csv()方法和可用的模式参数,因此允许将 append DataFrame 写入文件。 ...


 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM