堆棧內存溢出
cost 103 ms
使用 MultiIndex 緩慢搜索大型 DataFrame

[英]Searching a large DataFrame with a MultiIndex slow

我有一個大的 Pandas DataFrame（~800M 行），我在一個MultiIndex上建立了索引，它有兩個索引，一個 int 和一個日期。 我想根據我擁有的整數列表（大約 10k）檢索 DataFrame 行的子集。 整數與多索引的第一個索引匹配。 多索引是唯一的。 我嘗試的第一件事是對 ...

按多個元組切片 MultiIndex

[英]Slice MultiIndex by multiple tuples

我有一個具有多個索引級別的 DataFrame。 我通過選擇除最后一個級別之外的所有級別的多個組合來定義一些子集。 然后我想用那個子集對原始的 DataFrame 進行切片，但我找不到方法。 最好是看一個簡單的例子： 現在我想要df中的所有行 where ( a , b ) in sel ，在這種 ...

使用索引進行查詢優化

[英]Query Optimization with Indexes

我需要一些幫助來優化這個 WordPress/WooCommerce 查詢： 我不明白EXPLAIN告訴我什么，需要一些關於如何加快速度的指導。 有人可以描述EXPLAIN響應中的內容表明我的問題在哪里以及在哪里尋找答案嗎？ ID 選擇類型桌子分區類型可能的鍵鑰匙密鑰長度參考行過濾額外的 1個基 ...

多索引中跨並行層次結構級別的自定義聚合

[英]Custom Aggregation Across Parallel Hierarchy Levels in a Multi-Index

我有一個分層組織的 dataframe。 考慮一下： 我需要做的是創建一個新的 dataframe，它通過用單個值替換相應的 (indexlevel2) 來折疊中間級別 (indexlevel1)，該值是曾經包含在 indexlevel1 中的兩個級別中的最小值。 可能更容易說明我的意思 - 上面示 ...

如何有效地對大型 df 中最后一個多指標級別的子集求和？

[英]How to efficiently sum over subset of last multi-index level in large df?

[使用 python 3.9] 我有一個具有以下程式化結構的大型 df： 原來的df有很多這樣的block並排，只有最底層的labels是重復的。 我想對底層的一個子集求和，刪除求和的列並將它們替換為具有總和的列，如下所示： 我可以通過進入每個塊和每個中間層來實現這一點，對列的子集進行求和，然后 ...

如何找到多索引 dataframe 的兩個鍵之間的重疊行數？

[英]How to find the overlapping count of rows between two keys of a multindex dataframe?

兩個數據幀已與具有相同索引的不同鍵（多索引數據幀）連接。 日期是索引。 每個 dataframe 中有不同的產品作為列名稱及其價格。 我基本上必須找到這兩個數據幀和重疊周期數之間的相關性。 相關性已完成，但如何找到每個 dataframe 中每個產品的重疊行數，並生成 dataframe 的結果， ...

如何在多索引中插入缺失的行

[英]How to insert missing rows in multi-index

我有一個 dataframe 看起來像這樣 我想為缺少月份的公用事業-州組合創建新行。 所以新的 dataframe 看起來像這樣 我知道我可以使用 MultiIndex 然后 reindex ，但是使用 from_product() 方法會導致原始 df 中不存在實用程序狀態組合（例如，我不想要實 ...

無法使用 MultiIndex 列從 Dataframe 中刪除行

[英]Can't Delete Row from Dataframe with MultiIndex Column

我創建了一個 DataFrame，在列中有一個 MultiIndex，我想創建一個空的 DataFrame 並迭代地添加列和值。 我希望結構看起來像這樣（我可能決定稍后更改行標簽，但現在我使用默認行索引）： 我已經成功地創建了具有 1 列的 DataFrame，但第一行的值為 NaN（我認為這是因為 ...

為什么在使用 MultiIndex（但不是簡單索引）時會出現 SettingWithCopyWarning？

[英]Why do I get a SettingWithCopyWarning when using a MultiIndex (but not with a simple index)?

以下代碼按預期工作，沒有任何警告。 我創建了一個 dataframe，使用.loc從它創建了兩個子數據幀，給它們相同的索引，然后分配給其中一個的列。import numpy as np import pandas as pd df = pd.DataFrame(np.random.randn(2 ...

pandas multiindex select 一個 header value 另一個 header 和一個級別

[英]pandas multiindex select one header value according to another header and a level

我有這個帶有多個標題的 dataframe 我讀它作為 我想根據0級值得到第一級的值。 我試圖讓自己清楚。 我想 select 列'01090BL'（標題級別 0），然后我想獲得對應於級別 1（名為 0）的值。 我嘗試了以下操作： 標題之間的一種矩陣。 我得到一個錯誤。 我認為我需要多索引處理方面的 ...

根據 header 值刪除列 ()

[英]drop columns according to header value ()

我有這個帶有多個標題的 dataframe 我讀這個作為 我想刪除列 01090BL、01100MS。 在主程序中，我的想法是列出我要刪除的列，然后刪除它們。 因此，我做了如下操作： 但我收到以下錯誤： 因此，我做了以下事情： 但我得到一個空的 dataframe。我錯過了什么？ 謝謝 ...

pandas 讀取 dataframe 多標頭值

[英]pandas read dataframe multi-header values

我有這個帶有多個標題的 dataframe 我讀這個作為 我想提取與名為“lat”和“long”的行相關的值。 一種簡單的方法是分兩步讀取 dataframe。 換句話說，這個想法可能有兩個數據幀。 我不喜歡這個，因為它不是很優雅，而且似乎沒有利用 pandas 的潛力。 我相信我可以使用一些與多索 ...

Boolean 使用多索引過濾不同長度

[英]Boolean filtering of different lengths with Multi Indexes

我正在嘗試根據列值employ_start_date和索引employ_class過濾我的多索引數據df 。 可以通過以下方式單獨獲得： 我想根據這兩個條件過濾df ，使其看起來類似於： 但我得到ValueError: operands could not be broadcast together ...

Pandas - 將新的計算列添加到 MultiIndex 列 dataframe

[英]Pandas - Add a new calculated column to a MultiIndex column dataframe

我有一個具有以下結構的 Dataframe： 我想根據值“X”** 2 + “Y”** 2 為每個節點添加一個新的計算列“Z”。 以下實現了預期的結果： 有沒有更直接的方法來實現這一目標？ 例如，使用df.xs到 select 所需的列數據 eg df.xs("X", axis=1, level= ...

如何根據條件在具有多索引的 DataFrame 中更改列內的值

[英]How to change values within a column, based on a condition, in a DataFrame with multi-index

我當前的 DF 看起來像： 我的 DF 有很多行，我需要根據 user_id 是否在名為“用戶”的特定集合中更改第 2 列的值。 我正在使用以下代碼，但它似乎不起作用。 我的代碼： 當我檢查“用戶”集中存在的特定 user_id 時，它顯示為“NaN”。 這是否意味着代碼無效？ 如果 user_id ...

如何在 pandas 中重新索引基於日期時間的多重索引

[英]How to reindex a datetime-based multiindex in pandas

我有一個 dataframe，它計算每個用戶每天發生事件的次數。 用戶每天可能有 0 個事件，並且（因為該表是原始事件日志的匯總）dataframe 中缺少具有 0 個事件的行。我想添加這些缺失的行並按周對數據進行分組，以便每個用戶都有每周一次（如果適用，包括 0 次）。 這是我的輸入示例：impo ...

Pandas / Matplotlib bar plot with multi index dataframe

[英]Pandas / Matplotlib bar plot with multi index dataframe

我有一個排序的多索引 pandas 數據框，我需要在條形圖中顯示 plot。 我的數據框。 我要么還沒有找到解決方案，要么簡單的解決方案不存在，但我需要 plot 此數據的條形圖，其中Content和Category位於 x 軸上， Installs量為高度。 簡單來說，我需要展示每個條形由什么組 ...

從 pandas 多索引中刪除冗余級別

[英]Dropping redundant levels from a pandas multiindex

我有一個 Pandas 數據框，其中包含一個經過過濾（交互式）的多索引。 生成的過濾幀在索引中具有冗余級別，其中所有條目對於所有條目都是相同的。 有沒有辦法從索引中刪除這些級別？ 有一個像這樣的數據框： 我想降低“二級”級別，但沒有指定級別，因為我事先不知道哪個級別是多余的。 像（組成 functi ...


排序:
質量:
 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM