[英]How do I get the row count of a Pandas DataFrame?
如何获得 pandas dataframe df
的行数?
对于数据帧df
,可以使用以下任何一种:
len(df.index)
df.shape[0]
df[df.columns[0]].count()
(== 第一列中非 NaN 值的数量)重现情节的代码:
import numpy as np
import pandas as pd
import perfplot
perfplot.save(
"out.png",
setup=lambda n: pd.DataFrame(np.arange(n * 3).reshape(n, 3)),
n_range=[2**k for k in range(25)],
kernels=[
lambda df: len(df.index),
lambda df: df.shape[0],
lambda df: df[df.columns[0]].count(),
],
labels=["len(df.index)", "df.shape[0]", "df[df.columns[0]].count()"],
xlabel="Number of rows",
)
假设df
是您的数据框,那么:
count_row = df.shape[0] # Gives number of rows
count_col = df.shape[1] # Gives number of columns
或者,更简洁地说,
r, c = df.shape
使用len(df)
:-)。
__len__()
记录在“返回索引长度”中。
计时信息,设置方式与root 的回答相同:
In [7]: timeit len(df.index)
1000000 loops, best of 3: 248 ns per loop
In [8]: timeit len(df)
1000000 loops, best of 3: 573 ns per loop
由于一个额外的函数调用,说它比直接调用len(df.index)
慢一点当然是正确的。 但这在大多数情况下应该无关紧要。 我发现len(df)
非常易读。
如何获取 Pandas DataFrame 的行数?
此表总结了您希望在 DataFrame(或 Series,为了完整性)中计算某些内容的不同情况,以及推荐的方法。
脚注
DataFrame.count
将每列的计数作为一个Series
返回,因为非空计数因列而异。DataFrameGroupBy.size
返回一个Series
,因为同一组中的所有列共享相同的行数。DataFrameGroupBy.count
返回一个DataFrame
,因为同一组中的列之间的非空计数可能不同。 要获取特定列的分组非空计数,请使用df.groupby(...)['x'].count()
其中“x”是要计数的列。
下面,我展示了上表中描述的每种方法的示例。 首先,设置 -
df = pd.DataFrame({
'A': list('aabbc'), 'B': ['x', 'x', np.nan, 'x', np.nan]})
s = df['B'].copy()
df
A B
0 a x
1 a x
2 b NaN
3 b x
4 c NaN
s
0 x
1 x
2 NaN
3 x
4 NaN
Name: B, dtype: object
len(df)
、 df.shape[0]
或len(df.index)
len(df)
# 5
df.shape[0]
# 5
len(df.index)
# 5
比较恒定时间操作的性能似乎很愚蠢,尤其是当差异在“认真,别担心”的级别时。 但这似乎是其他答案的趋势,所以为了完整性,我也在做同样的事情。
在上述三种方法中, len(df.index)
(如其他答案中所述)是最快的。
笔记
- 上述所有方法都是常数时间操作,因为它们是简单的属性查找。
df.shape
(类似于ndarray.shape
)是一个返回(# Rows, # Cols)
元组的属性。 例如,对于此处的示例,df.shape
返回(8, 2)
。
df.shape[1]
, len(df.columns)
df.shape[1]
# 2
len(df.columns)
# 2
类似于len(df.index)
, len(df.columns)
是这两种方法中速度更快的方法(但需要输入更多字符)。
len(s)
, s.size
, len(s.index)
len(s)
# 5
s.size
# 5
len(s.index)
# 5
s.size
和len(s.index)
在速度方面大致相同。 但我推荐len(df)
。
注意
size
是一个属性,它返回元素的数量(=任何系列的行数)。 DataFrames 还定义了一个 size 属性,它返回与df.shape[0] * df.shape[1]
相同的结果。
DataFrame.count
和Series.count
这里描述的方法只计算非空值(意味着 NaN 被忽略)。
调用DataFrame.count
将为每一列返回非 NaN 计数:
df.count()
A 5
B 3
dtype: int64
对于 Series,使用Series.count
来达到类似的效果:
s.count()
# 3
GroupBy.size
对于DataFrames
,使用DataFrameGroupBy.size
来计算每组的行数。
df.groupby('A').size()
A
a 2
b 2
c 1
dtype: int64
同样,对于Series
,您将使用SeriesGroupBy.size
。
s.groupby(df.A).size()
A
a 2
b 2
c 1
Name: B, dtype: int64
在这两种情况下,都会返回一个Series
。 这对DataFrames
也很有意义,因为所有组共享相同的行数。
GroupBy.count
与上面类似,但使用GroupBy.count
,而不是GroupBy.size
。 请注意, size
始终返回Series
,而count
如果在特定列上调用则返回Series
,否则DataFrame
。
以下方法返回相同的内容:
df.groupby('A')['B'].size()
df.groupby('A').size()
A
a 2
b 2
c 1
Name: B, dtype: int64
同时,对于count
,我们有
df.groupby('A').count()
B
A
a 2
b 1
c 0
...调用整个 GroupBy 对象,与,
df.groupby('A')['B'].count()
A
a 2
b 1
c 0
Name: B, dtype: int64
在特定列上调用。
len(df)
len()
返回列表对象的项目数(长度)(也适用于字典、字符串、元组或范围对象)。 因此,要获取 DataFrame 的行数,只需使用len(df)
。 更多关于len功能,请参见官方页面。
或者,您可以分别使用df.index
和df.columns
访问所有行和所有列。 由于您可以使用len(anyList)
获取元素编号,因此使用len(df.index)
将给出行数,而len(df.columns)
将给出列数。
或者,您可以使用df.shape
返回行数和列数(作为元组),您可以在其中访问每个项目及其索引。 如果要访问行数,请仅使用df.shape[0]
。 对于列数,仅使用: df.shape[1]
。
除了前面的答案,您可以使用df.axes
获取具有行和列索引的元组,然后使用len()
函数:
total_rows = len(df.axes[0])
total_cols = len(df.axes[1])
...以Jan-Philip Gehrcke 的回答为基础。
len(df)
或len(df.index)
比df.shape[0]
快的原因:
看代码。 df.shape 是一个@property
,它运行 DataFrame 方法调用len
两次。
df.shape??
Type: property
String form: <property object at 0x1127b33c0>
Source:
# df.shape.fget
@property
def shape(self):
"""
Return a tuple representing the dimensionality of the DataFrame.
"""
return len(self.index), len(self.columns)
在 len(df) 的引擎盖下
df.__len__??
Signature: df.__len__()
Source:
def __len__(self):
"""Returns length of info axis, but here we use the index """
return len(self.index)
File: ~/miniconda2/lib/python2.7/site-packages/pandas/core/frame.py
Type: instancemethod
len(df.index)
会比len(df)
稍微快一点,因为它少了一个函数调用,但这总是比df.shape[0]
快
我从R背景来到 Pandas,我发现 Pandas 在选择行或列时更加复杂。
我不得不与它搏斗了一段时间,然后我找到了一些应对的方法:
获取列数:
len(df.columns)
## Here:
# df is your data.frame
# df.columns returns a string. It contains column's titles of the df.
# Then, "len()" gets the length of it.
获取行数:
len(df.index) # It's similar.
你也可以这样做:
假设df
是您的数据框。 然后df.shape
为您提供数据框的形状,即(row,col)
因此,分配以下命令以获得所需的
row = df.shape[0], col = df.shape[1]
如果您想在链接操作的中间获取行数,您可以使用:
df.pipe(len)
例子:
row_count = (
pd.DataFrame(np.random.rand(3,4))
.reset_index()
.pipe(len)
)
如果您不想在len()
函数中放置长语句,这将很有用。
您可以改用__len__()
但__len__()
看起来有点奇怪。
这两种方法都可以( df
是 DataFrame 的名称):
方法一:使用len
函数:
len(df)
将给出名为df
的 DataFrame 中的行数。
方法2 :使用count
功能:
df[col].count()
将计算给定列col
中的行数。
df.count()
将给出所有列的行数。
对于数据帧 df,在探索数据时使用打印的逗号格式的行数:
def nrow(df):
print("{:,}".format(df.shape[0]))
例子:
nrow(my_df)
12,456,789
找出数据框中行数的另一种方法是pandas.Index.size
,我认为这是最易读的变体。
请注意,正如我评论接受的答案,
怀疑
pandas.Index.size
实际上会比len(df.index)
快,但我计算机上的timeit
告诉我否则(每个循环慢约 150 ns)。
我不确定这是否可行(数据可以省略),但这可能可行:
*dataframe name*.tails(1)
然后使用它,您可以通过运行代码片段并查看提供给您的行号来找到行数。
使用len(df)
或len(df.index)
时,您可能会遇到此错误:
----> 4 df['id'] = np.arange(len(df.index)
TypeError: 'int' object is not callable
解决方案:
lengh = df.shape[0]
len(df.index) 将在所有列出的方式中工作得最快
想一想,数据集是“数据”并将您的数据集命名为“data_fr”,data_fr 中的行数是“nu_rows”
#import the data frame. Extention could be different as csv,xlsx or etc.
data_fr = pd.read_csv('data.csv')
#print the number of rows
nu_rows = data_fr.shape[0]
print(nu_rows)
# this will give you the number of rows in the dataframe df
df.shape[0]
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.