通过 pandas 读取不同数量列的 csv 并将它们合并到一个文件中

Question

我在构建爬虫的最后一步中挣扎。 如果我尝试抓取几个具有相同结构的文件，它会完美运行。 但是，如果我尝试使用旧模式（缺少列）获取那些，我会得到 ex。

ParserError：预计第 273 行中有 42 个字段，看到 47

如果我将引擎更改为 python-fwf 它可以工作。 但我不能再使用index_col = "Div"了。 但是这个需要处理 na 行而不产生错误。

def dataImport(df_raw):
    header_appended = False
    concat_i = []
    progress = len(linkGenerator())
    count = 1
    debugging_var = 1
    print("0 of " + str(progress))
    for i in list(linkGenerator()):
        if debbuging_mode == True:
            df_debugger = pd.read_csv(i, sep = ",", header = 0, engine = "python", encoding = "ISO-8859-1", index_col = "Div")
            df_debugger.to_csv(debbuging_path + str(debugging_var) + "_of_" + str(progress) + ".csv")
            debugging_var = debugging_var + 1
        if header_appended != True:
            print("Appending : " + str(i))
            df_raw = pd.read_csv(i, sep = ",", engine = "python", encoding = "ISO-8859-1", index_col = False)
            header_appended = True
            print("Appended.")
            time.sleep(2)
        else:
            print("Appending : " + str(i))
            df_internal = pd.read_csv(i, sep = ",", engine = "python", encoding = "ISO-8859-1", index_col = False)
            concat_i.append(df_internal)
            print("Appended.")
            time.sleep(2)
        print(str(count) + " of " + str(progress))
        count = count + 1
    df_raw = pd.concat(concat_i, ignore_index = True)
    df_raw.dropna(subset = ["Div"], inplace = True)
    return df_raw

我尝试使用 names = range(100) 或类似的东西： import csv with different number of columns using Pandas

在我看来df_raw = pd.concat(concat_i, ignore_index = True)是问题所在。

很高兴得到帮助。

干杯：:)