[英]Pandas CSV file with occasional extra columns in the middle
我正在处理大量(数千)~100k行csv文件,这些文件是由其他人生成的。 10个文件中有9个文件有8列,所有文件都是正确的。 第10行~10行将在第6列之后插入2个额外的列:(为简单起见,假设所有行中的值具有相同的值。)
A,B,C,D,E,F,G,H
A,B,C,D,E,F,G,H
A,B,C,D,E,F,Foo,Bar,G,H
A,B,C,D,E,F,G,H
A,B,C,D,E,F,Foo,Bar,G,H
A,B,C,D,E,F,G,H
A,B,C,D,E,F,G,H
我无法控制数据文件的生成,需要在我的最后清理它们,但我相信带有额外列的行会损坏数据,所以我现在只想拒绝它们。 我认为处理这个问题的简单方法是将我的数据初始加载到10列DataFrame中:
In [100]: df = pd.read_csv(data_dir + data_file, names=ColumnNames)
In [101]: data_df
Out[101]:
<class 'pandas.core.frame.DataFrame'>
Int64Index: 99531 entries, 0 to 99530
Data columns:
time 99531 non-null values
var1 99531 non-null values
var2 99531 non-null values
var3 99531 non-null values
var4 99531 non-null values
var5 99531 non-null values
var6 98386 non-null values
var7 29829 non-null values
extra1 10 non-null values
extra2 10 non-null values
dtypes: float64(3), int64(5), object(2)
然后检查extra1或extra2 isnull的位置,保留这些行,然后删除多余的行。
data_df = data_df[pd.isnull(data_df['extra1']) & pd.isnull(data_df['extra2'])]
del data_df['extra1']
del data_df['extra2']
这似乎有点圆/非理想。 有没有人更清楚如何清理这个?
谢谢
如果你想删除坏行,你可以使用error_bad_lines=False
(如果你希望它安静一下,则warn_bad_lines = False
):
>>> !cat unclean.csv
A,B,C,D,E,F,G,H
A,B,C,D,E,F,G,H
A,B,C,D,E,F,Foo,Bar,G,H
A,B,C,D,E,F,G,H
A,B,C,D,E,F,Foo,Bar,G,H
A,B,C,D,E,F,G,H
A,B,C,D,E,F,G,H
>>> df = pd.read_csv("unclean.csv", error_bad_lines=False, header=None)
Skipping line 3: expected 8 fields, saw 10
Skipping line 5: expected 8 fields, saw 10
>>> df
0 1 2 3 4 5 6 7
0 A B C D E F G H
1 A B C D E F G H
2 A B C D E F G H
3 A B C D E F G H
4 A B C D E F G H
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.