[英]What's the fastest way to acces a Pandas DataFrame?
我有一个包含 541 列的 DataFrame df,我需要将其列名的所有唯一对保存到单独的 DataFrame 的行中,每个行重复 8 次。
我想我会创建一个空的 DataFrame fp,通过 df 的列名进行双循环,插入每 8 行,并用最后一个可用值填充空白。
当我尝试这样做时,虽然我对它需要多长时间感到困惑。 有 541 列,我只需要写 146,611 次,却花了 20 多分钟。 这对于仅数据访问来说似乎太恶劣了。 问题出在哪里,我该如何解决? 与 Pandas 相比,生成与列的相关矩阵所需的时间更少,所以我必须做错什么。
这是我的意思的可重复示例:
fp = np.empty(shape = (146611, 10))
fp.fill(np.nan)
fp = pd.DataFrame(fp)
%timeit for idx in range(0, len(fp)): fp.iloc[idx, 0] = idx
# 1 loop, best of 3: 22.3 s per loop
不要做 iloc/loc/chained-indexing。 单独使用 NumPy 接口可将速度提高约 180 倍。 如果您进一步删除元素访问,我们可以将其提高到 180,000 倍。
fp = np.empty(shape = (146611, 10))
fp.fill(np.nan)
fp = pd.DataFrame(fp)
# this confirms how slow data access is on my computer
%timeit for idx in range(0, len(fp)): fp.iloc[idx, 0] = idx
1 loops, best of 3: 3min 9s per loop
# this accesses the underlying NumPy array, so you can directly set the data
%timeit for idx in range(0, len(fp)): fp.values[idx, 0] = idx
1 loops, best of 3: 1.19 s per loop
这是因为 Python 层中有大量代码用于此花式索引,每个循环需要大约 10 微秒。 应该使用 Pandas 索引来检索整个数据子集,然后您可以使用这些子集对整个数据帧进行矢量化操作。 单个元素的访问是冰山一角:使用 Python 字典将使您的性能提高 180 倍以上。
当您访问列或行而不是单个元素时,情况会好很多:好 3 个数量级。
# set all items in 1 go.
%timeit fp[0] = np.arange(146611)
1000 loops, best of 3: 814 µs per loop
道德
不要尝试通过链式索引、 loc
或iloc
访问单个元素。 从 Python 列表(或 C 接口,如果性能绝对关键)在单个分配中生成 NumPy 数组,然后对整个列或数据帧执行操作。
使用 NumPy 数组并直接对列而不是单个元素执行操作,我们的性能提高了 180,000 多倍。 不是太寒酸。
编辑
来自@kushy 的评论表明,自从我最初写这个答案以来,熊猫可能在某些情况下优化了索引。 始终配置您自己的代码,您的里程可能会有所不同。
使用时,作为2020年1月6日亚历山大的回答是最快的,我.is_numpy()
而不是.values
。 在 Windows 10 上的 Jupyter Notebook 中测试。Pandas 版本 = 0.24.2
import numpy as np
import pandas as pd
fp = np.empty(shape = (146611, 10))
fp.fill(np.nan)
fp = pd.DataFrame(fp)
pd.__version__ # '0.24.2'
def func1():
# Asker badmax solution
for idx in range(0, len(fp)):
fp.iloc[idx, 0] = idx
def func2():
# Alexander Huszagh solution 1
for idx in range(0, len(fp)):
fp.to_numpy()[idx, 0] = idx
def func3():
# user4322543 answer to
# https://stackoverflow.com/questions/34855859/is-there-a-way-in-pandas-to-use-previous-row-value-in-dataframe-apply-when-previ
new = []
for idx in range(0, len(fp)):
new.append(idx)
fp[0] = new
def func4():
# Alexander Huszagh solution 2
fp[0] = np.arange(146611)
%timeit func1
19.7 ns ± 1.08 ns per loop (mean ± std. dev. of 7 runs, 500000000 loops each)
%timeit func2
19.1 ns ± 0.465 ns per loop (mean ± std. dev. of 7 runs, 500000000 loops each)
%timeit func3
21.1 ns ± 3.26 ns per loop (mean ± std. dev. of 7 runs, 500000000 loops each)
%timeit func4
24.7 ns ± 0.889 ns per loop (mean ± std. dev. of 7 runs, 50000000 loops each)
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.