繁体   English   中英

在Python中导入多个sas文件,然后row bind

[英]Import multiple sas files in Python and then row bind

提示:本站为国内最大中英文翻译问答网站,提供中英文对照查看,鼠标放在中文字句上可显示英文原文

我有超过 20 个 SAS (sas7bdat) 文件,所有文件都具有我想在 Python 中读取的相同列。我需要一个迭代过程来读取所有文件并 rbind 到一个大 df 中。 到目前为止,这是我所拥有的,但它会抛出一个错误,指出没有要连接的对象。

import pyreadstat
import glob
import os

path = r'C:\\Users\myfolder'  # or unix / linux / mac path
all_files = glob.glob(os.path.join(path , "/*.sas7bdat"))

li = []

for filename in all_files:
    reader = pyreadstat.read_file_in_chunks(pyreadstat.read_sas7bdat, filename, chunksize= 10000, usecols=cols)
    for df, meta in reader:
        li.append(df)
    frame = pd.concat(li, axis=0)

我发现这个读入 csv 文件的答案很有帮助: Import multiple CSV files into pandas and concatenate into one DataFrame

所以如果一个人有太大的 sas 数据文件并计划将 append 全部放入一个 df 那么:

#chunksize command avoids the RAM from crashing...
for filename in all_files:
    reader = pyreadstat.read_file_in_chunks(pyreadstat.read_sas7bdat, filename, chunksize= 10000, usecols=cols)
    for df, meta in reader:
        li.append(df)
frame = pd.concat(li, axis=0, ignore_index=True)
问题未解决?试试本站强大的搜索功能,搜索: 在Python中导入多个sas文件,然后row bind
Python读取多个.txt文件并使用pandas行绑定

[英]Python read in multiple .txt files and row bind using pandas

我来自R(和SAS),在读取大量.txt文件(都存储在同一目录中)并在熊猫中创建一个大数据框时遇到问题。 到目前为止,我已经尝试过合并代码-所有这些都不幸失败了。 我认为这是一个简单的任务,但缺乏python的经验... 如果有帮助,我将使用以下数据创建一个大型数据框: http :/ ...

2014-12-05 16:15:31 1 1020   python
相对导入多个python文件

[英]relative import in multiple python files

我有以下目录结构: 目录名称为test_app 我有一个非常基本的问题要问,我将以下值放在__init__.py 我如何在模型,视图和管理中获得alpha和beta的价值? 我尝试了以下方法: 他们两个都没有工作,我该怎么办? ...

打包多个 Python 文件:获取导入错误

[英]Packaging multiple Python Files: Getting Import error

我想弄清楚如何打包一个 python 项目,以便我可以将它分发给一些同事。 当我运行python setup.py sdist --formats=zip它会创建一个可以pip install的 zip,但是当我运行该文件时,它无法导入我创建的类文件。 这是我的项目文件结构(可能不正确,但我没有完 ...

在Python中动态导入包含多个文件的软件包

[英]Dynamically import packages with multiple files in Python

我正在尝试在python中动态导入模块。 我需要类似插件导入系统的工具。 我使用以下代码导入模块,只要模块的整个代码在同一文件中,它就可以正常工作。 caller.py代码: 之后,我使用load_module方法加载模块: 目录的结构如下: 当所有方法都在 ...

如何在python中导入具有相同名称的多个文件

[英]How to import multiple files with same name in python

对于生成源文件的python项目,我具有以下结构: 我想使用位于以下位置的脚本generate脚本: 如何从generate_all导入generate脚本? 我试图将/project_name/src/module_nameK添加到sys.path ,但是由于文件具有相同的名 ...

2013-10-18 12:08:42 2 316   python
使用Python将多个CSV文件导入MySQL

[英]Import Multiple CSV files into MySQL with Python

我正在尝试使用对我来说有趣/有趣的示例来学习MySQL和Python。 我对这两者都是陌生的,因为我是贸易金融专家。 在此过程中我学到了很多东西,但是我不确定要去哪里。 我要导入的数据文件包含在一个托管的zip文件中: 此处 我提取了目录,这里有1000多个文件。 在下面的代码 ...

从Python中的文件夹导入多个文件

[英]Import multiple files from a folder in Python

我的Application目录中有一个名为Commands.folder的文件夹。 我想要做的是将该文件夹中的所有模块(无论名称)导入到导入的python文件中。 我怎样才能做到这一点? ...

在Python中使用行中的多个csv文件

[英]multiple csv files in row using in Python

我对python中的excel / csv操作非常陌生。 我有1k + .xlsx文件。 每个Excel文件都有2张图纸sheet1.csv和sheet2.csv(所有.xlsx中的图纸名称均相同)。 从所有excel文件中,我必须收集sheet1.csv并必须使用所有工作表创建新的e ...

获取 python 中多个文件的第一行

[英]get the first row in multiple files in python

我正在尝试遍历文件以获取第一行并将其放入数据库中。 我遇到的问题是我无法弄清楚如何只读取 1 行。 现在它运行在所有行上,而我每个文件只需要 1 行。 文件如下所示: 我的代码目前是这样的: 使用for row in reader ,它向我显示所有行,使用 row[0],我只得到第一列,但仍然得到所 ...

2022-01-24 09:28:24 3 59   python
暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2023 STACKOOM.COM