簡體   English   中英

從具有條件的文件夾中加載多個csv文件

[英]Load multiple csv files from a folder with a condition

我有一個非常非結構化的文件夾,其中很多文件沒有條目(只是行標題),但是里面沒有數據。 我知道我可以包括它們,並且它們不會改變任何內容,但是問題是,標題到處都不相同,因此每個文件都包含一些額外的手動工作。

到目前為止,我現在如何使用以下代碼加載特定文件夾中的所有文件:

import glob

path = r'C:/Users/...'
all_files = glob.glob(path+ "/*.csv")

li = []

for filename in all_files:
    frame = pd.read_csv(filename, index_col=None, header=0, sep=';', encoding='utf-8', low_memory=False)
    li.append(frame)

df = pd.concat(li, axis=0, ignore_index=True, sort=False)

如何跳過每個只有一行的文件?

從以下位置修改此循環:

for filename in all_files:
    frame = pd.read_csv(filename, index_col=None, header=0, sep=';', encoding='utf-8', low_memory=False)
    li.append(frame)

至:

for filename in all_files:
    frame = pd.read_csv(filename, index_col=None, header=0, sep=';', encoding='utf-8', low_memory=False)
    if len(frame) > 1:
        li.append(frame)

那就是if語句的目的。

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM