[英]Read in all csv files from a directory using Python
我希望这不是微不足道的,但我想知道以下几点:
如果我有一个包含n 个csv
文件的特定文件夹,我如何迭代读取所有这些文件,一次一个,并对它们的值执行一些计算?
例如,对于单个文件,我执行类似的操作并对x
数组执行一些计算:
import csv
import os
directoryPath=raw_input('Directory path for native csv file: ')
csvfile = numpy.genfromtxt(directoryPath, delimiter=",")
x=csvfile[:,2] #Creates the array that will undergo a set of calculations
我知道我可以检查给定文件夹中有多少csv
文件( 在此处检查):
import glob
for files in glob.glob("*.csv"):
print files
但是我没有弄清楚如何将numpy.genfromtxt()
function 嵌套在 for 循环中,以便我读入由我指定的目录的所有 csv 文件。
编辑
我的文件夹只有jpg
和csv
文件。 后者被命名为eventX.csv
,其中X的范围从 1 到 50。因此,我所指的for
循环应该按原样考虑文件名。
我就是这样做的:
import os
directory = os.path.join("c:\\","path")
for root,dirs,files in os.walk(directory):
for file in files:
if file.endswith(".csv"):
f=open(file, 'r')
# perform calculation
f.close()
使用 pandas 和 glob 作为基础包
import glob
import pandas as pd
glued_data = pd.DataFrame()
for file_name in glob.glob(directoryPath+'*.csv'):
x = pd.read_csv(file_name, low_memory=False)
glued_data = pd.concat([glued_data,x],axis=0)
我想你在寻找这样的东西
import glob
for file_name in glob.glob(directoryPath+'*.csv'):
x = np.genfromtxt(file_name,delimiter=',')[:,2]
# do your calculations
编辑
如果您想从一个文件夹(包括子文件夹)中获取所有csv
文件,您可以使用subprocess
而不是glob
(请注意,此代码仅适用于 linux 系统)
import subprocess
file_list = subprocess.check_output(['find',directoryPath,'-name','*.csv']).split('\n')[:-1]
for i,file_name in enumerate(file_list):
x = np.genfromtxt(file_name,delimiter=',')[:,2]
# do your calculations
# now you can use i as an index
它首先使用 shell 中的find
命令在文件夹和子文件夹中搜索所有文件名,然后应用您的计算。
根据numpy.genfromtxt()
的文档,第一个参数可以是
要读取的文件、文件名或生成器。
这意味着您可以编写一个生成器来生成所有文件的行,如下所示:
def csv_merge_generator(pattern):
for file in glob.glob(pattern):
for line in file:
yield line
# then using it like this
numpy.genfromtxt(csv_merge_generator('*.csv'))
应该管用。 (我没有安装 numpy,所以不能轻易测试)
给定一些path = "/path/to/dir/"
,这是一种更简洁的方法。
import glob
import pandas as pd
pd.concat([pd.read_csv(f) for f in glob.glob(path+'*.csv')])
然后你可以将你的计算应用到整个数据集,或者,如果你想一个一个地应用它:
pd.concat([process(pd.read_csv(f)) for f in glob.glob(path+'*.csv')])
下面的函数将返回一个字典,其中包含您定义路径中文件夹中每个 .csv 文件的数据框。
import pandas as pd
import glob
import os
import ntpath
def panda_read_csv(path):
pd_csv_dict = {}
csv_files = glob.glob(os.path.join(path, "*.csv"))
for csv_file in csv_files:
file_name = ntpath.basename(csv_file)
pd_csv_dict['pd_' + file_name] = pd.read_csv(csv_file, sep=";", encoding='mac_roman')
locals().update(pd_csv_dict)
return pd_csv_dict
使用列表理解的另一个答案:
from os import listdir
files= [f for f in listdir("./") if f.endswith(".csv")]
如果要将文件作为单独的数据帧导入,可以尝试以下操作:
import pandas as pd
import os
filenames = os.listdir("../data/") # lists all csv files in your directory
def extract_name_files(text): # removes .csv from the name of each file
name_file = text.strip('.csv').lower()
return name_file
names_of_files = list(map(extract_name_files,filenames)) # creates a list that will be used to name your dataframes
for i in range(0,len(names_of_files)): # saves each csv in a dataframe structure
exec(names_of_files[i] + " = pd.read_csv('../data/'+filenames[i])")
您可以使用pathlib
glob
功能列出路径中的所有 .csv,并使用pandas
来读取它们。 然后只需应用您想要的任何功能(如果系统化,也可以在列表理解中完成)
import pands as pd
from pathlib import Path
path2csv = Path("/your/path/")
csvlist = path2csv.glob("*.csv")
csvs = [pd.read_csv(g) for g in csvlist ]
您需要导入 glob 库,然后按如下方式使用它:
import glob
path='C:\\Users\\Admin\\PycharmProjects\\db_conection_screenshot\\seclectors_absent_images'
filenames = glob.glob(path + "\*.png")
print(len(filenames))
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.