在pandas中读取csv时自动确定标题行

Question

我正在尝试从共享相同列名的不同 .csv 文件中收集数据。 但是，某些 csv 文件的标题位于不同的行中。

有没有办法根据包含“最多”值（实际标题名称）的第一行动态确定标题行？

我尝试了以下方法：

def process_file(file, path, col_source, col_target):
    global df_master
    print(file)
    df = pd.read_csv(path + file, encoding = "ISO-8859-1", header=None)
    df = df.dropna(thresh=2) ## Drop the rows that contain less than 2 non-NaN values. E.g. metadata
    df.columns = df.iloc[0,:].values
    df = df.drop(df.index[0])

但是，当使用pandas.read_csv() ，似乎第一个值决定了实际数据帧的大小，因为我收到以下错误消息：

pandas.errors.ParserError：标记数据时出错。 C 错误：第 4 行中应有 1 个字段，看到 162

正如您在这种情况下所看到的，标题行将位于第 4 行。将error_bad_lines=False添加到 read_csv 时，只会将元数据读入数据帧。

这些文件可以具有以下任一结构：

“正常”文件：

row1    col1   col2    col3    col4   col5   
row2    val1   val1    val1    val1   val1
row3    val2   val2    val2    val2   val2   
row4

或标题前带有元数据的结构：

row1   metadata1    
row2   metadata2
row3   col1   col2    col3    col4   col5
row4   val1   val1    val1    val1   val1

非常感谢任何帮助！

Answer 1

恕我直言，如果暂时忘记熊猫，最简单的方法是：

• 您将文件作为文本文件打开以供阅读
• 你开始逐行解析它，猜测该行是否是
  • 元数据头
  • 真正的标题行
  • 数据线

一个简单的方法是将所有从真实标题行开始的行连接到一个字符串中（让我们称之为buffer ），然后使用pd.read_csv(io.StringIO(buffer), ...)

Answer 2

有点脏，但这有效。 基本上它包括尝试读取文件而忽略从 0 到整个文件的顶行。 只要 csv 有可能，它就会返回它。 根据您的需要调整 custom_csv。

import pandas as pd

def file_len(fname):
    with open(fname) as f:
        for i, l in enumerate(f):
            pass
    return i + 1

def custom_csv(fname):
    _file_len = file_len(fname)
    for i in range(_file_len):
        try:
            df = pd.read_csv(fname, skiprows=i)
            return df
        except Exception:
            print(i)
    return 
print(custom_csv('pollution.csv'))

Answer 3

更好的方法是使用 csv 嗅探搜索数据开始的位置，并且其上方的行将提供 CSV 列标题。

import csv 
import pandas as pd    
Expected_Delimiter= "," 
count =0

with open(path,"r+") as f:
    while True:
        sniffer = csv.Sniffer()
        line = f.readline()
        count = count+1
        # Breaking the loop if file reaches eof
        if not (line):
            break
        Dialect =sniffer.sniff(line)
        file_Delimiter = Dialect.delimiter
        # Breaking loop if delimiter is found
        if (file_Delimiter == Expected_Delimiter):
            break
        else:
            continue

skiprows = count -1     
CSV_data = pd.read_csv(path,sep=Expected_Delimiter,skiprows =skiprows, encoding = "ISO-8859-1")

Answer 4

这就是我所做的。 它不会像我尝试过的其他事情那样给你误报。 您基本上不希望您的行中有空记录。

1. 创建您的数据框（下面的 df）并将其标头索引设为 0。

2. 现在遍历它：

    if df is not False: ind = 0 notfound = True while notfound: for index, row in df.iterrows(): s = pd.Series(row) if s.isnull().values.any(): ind += 1 else: notfound = False break return ind else: return False

3. 重新制作您的数据帧，但将上面返回的标头索引传递给它 + 1。因此，如果它返回 ind = 5，则传递 6