堆栈内存溢出
cost 394 ms
使用 MultiIndex 缓慢搜索大型 DataFrame

[英]Searching a large DataFrame with a MultiIndex slow

我有一个大的 Pandas DataFrame（~800M 行），我在一个MultiIndex上建立了索引，它有两个索引，一个 int 和一个日期。 我想根据我拥有的整数列表（大约 10k）检索 DataFrame 行的子集。 整数与多索引的第一个索引匹配。 多索引是唯一的。 我尝试的第一件事是对 ...

根据另一个 DataFrame 的日期构建新的 Pandas DataFrame

[英]Building a new Pandas DataFrame based on dates from another DataFrame

我的头衔不是很好，因为我无法表达我的问题。 基本上，我有一个 DateFrame，其中包含一些 DateTime 列和一个值列的事务数据。 我需要对日期应用过滤器并将结果值相加到一个新的 DataFrame 中。 这是我的 DateFrame df的简化版本： 我要创建的新 DataFrame d ...

使用 dataframe 中的 4 列创建层次结构 - pandas

[英]Creating hierarchy using 4 columns in dataframe - pandas

Dataframe在下方 我需要像这样添加一个额外的列层次结构： 我正在查看的规则如下： 只为填充了过滤器值的行填充层次结构列，行的 rest 不需要完成层次结构。 当找到过滤值不是 null 的行时，查找其 parentID，然后在 ID 列中搜索此 parentid。 当发现隐居继续往上走时 ...

给列多个索引/标题

[英]Giving a column multiple indexes/headers

我正在使用 pandas 数据帧，这些数据帧本质上是这样的时间序列： level Date 1976-01-01 409.67 1976-02-01 409.58 1976-03-01 409.66 … 我想要的是级别列的多个索引/标题，如 ...

确保连续观察之间的最小时间间隔 Pandas dataframe

[英]Ensuring a minimum time interval between successive observations in a Pandas dataframe

我有一个按日期列排序的 pandas dataframe。 但是，我希望确保观察之间的最小时间间隔。 为简单起见，这个 window 是 10 分钟，这意味着如果我的第一次观察发生在上午 8:05，那么第二次观察必须至少发生在上午 8:15。 必须从 dataframe 删除在上午 8:05-8: ...

如何在 pandas 中跨多个数据框列“选择不同”？

[英]How to "select distinct" across multiple data frame columns in pandas?

我正在寻找一种方法来做相当于 SQL pandas sql 比较没有关于distinct任何信息。 .unique()仅适用于单个列，所以我想我可以连接列，或将它们放入列表/元组中并以这种方式进行比较，但这似乎 pandas 应该以更原生的方式进行。 我错过了一些明显的东西，还是没有办法做到这 ...

来自DataFrame的groupby操作

[英]Groupby operation from DataFrame

我对以下使用groupby的情况感到困惑。 情况1和2有什么区别？ 我明白DataFrame.groupby会返回DataFrameGroupby object。但是情况1怎么还停留在DataFrame类型呢？ 数据是 DataFrame 从 pandas sql 结合几张表查询 我将数据分组并删除 ...

如何用常规 dataframe 中的值替换 multiIndex dataframe 中的级别 2？

[英]How to replace level 2 in a multiIndex dataframe with values from a regular dataframe?

我正在编写一个算法来处理工作中的客户以进行一些数据分析，我按用户 ID 将数据分组为我的级别 1，然后按月份分组为我的级别 2。 然后我按用户对数据进行一些处理工作，这涉及到每月的时间序列。 除了最后一步，我下面的代码完全符合我的需要。 如何用 output 中处理后的时间序列数据重载原始数据？ ...

通过Pyspark写入Mainframe格式文件

[英]Writing Mainframe format file through Pyspark

我需要读取 hive 数据库表并以 EBCDIC 编码的文本格式写入该信息，因为它将用作大型机进程的输入。 我们正在使用 cp037 编码。 为此，我将 hive 表读入 df，然后调用自定义 udf 将数值转换为 COMP3 格式（用于在大型机中存储数值），然后使用大型机 EBCDIC 字符集的 ...

TypeError: float() 参数必须是字符串或数字，而不是与散点相关的“datetime.time” plot

[英]TypeError: float() argument must be a string or a number, not 'datetime.time' in relation with a scatter plot

我创建了以下 DataFrame: date_merge 作为示例，因为我实际上想显示全天的温度值。 filtered_df_date: 指数很久 52754 2020-01-01 00:00:00 52755 2020-01-01 00:32:00 52756 2020-01-01 ...

在for循环中提取包含特定字符的特定列和其他列

[英]Extract specific columns and others columns containing certain characters in a for loop

假设对于 dataframe df如下： 出去： 我想在 for 循环中提取date列以及买卖价格的实际值和预测值： 出去： 另一种处理方法是通过grep搜索关键字，并添加date列： 但是，以上两种方案仍然存在BUG，如何处理呢？ 谢谢！ ...

R - 总结 dataframe 以避免 NA

[英]R - Summarize dataframe to avoid NAs

有一个 dataframe 像： 我想在一行中总结整个 dataframe，它不包含 NA。 它应该看起来像： 当 dataframe 更大并且包含更多 id 但逻辑相同时，它也应该工作。 我没有找到正确的 function 并尝试了 summarise() 的一些变体。 ...

Pyspark dataframe：交叉表或其他方法使行 label 成为新列

[英]Pyspark dataframe: crosstab or other method to make row label as new columns

我有一个 pyspark dataframe 如下图： 即我有四列：年份、单词、计数、频率。 年份是从 2000 年到 2015 年。 我想对 (pyspark) dataframe 进行一些操作，以便获得如下图格式的结果： 新的 dataframe 列应该是：word, frequency_2 ...

如何在 pandas 饼图中显示值？

[英]How to show values in pandas pie chart?

我想在饼图中可视化某个卡丁车的圈数。 为了实现这一目标，我想计算按卡丁车编号分组的单圈时间。 我发现有两种方法可以创建这样的饼图： 1# 2# 打印（df） Output 与 plot 不同： 如您所见，我有卡丁车号码和圈速计数。 但我想在饼图（或图例）中显示圈数。 我尝试使用 autopc ...

如果一列中的字符串部分与另一列中的部分字符串匹配，则提取值

[英]Extract the values, if the part of string in one column matches with part of string in another column

我有 2 个数据框，每个表中有 2 列。 现在，我需要将df1的 col A 的值与df2的 col C 进行匹配，并仅获取匹配的值。 例如： df1 df2 我试图将df2的列 C 转换为列表，并与df1的 A 列进行比较。 但我不确定如何提取值，即使它在列之间部分匹配。 我试过的代码： 预期 ...

可点击dataframe行触发详细显示streamlit

[英]Clickable dataframe rows to trigger a detailed display streamlit

我的代码如下： 结果如下： 我有两个问题：第一个是：我希望当我单击任何行时显示 df dataframe 中的详细信息，第二个是我想完全显示 dataframe 而无需滚动。 ...


排序:
质量:
 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM