簡體 English 中英

使用 pandas 讀取和連接大量 csv 文件

[英]Read and concat a lot of csv files using pandas

原文 2022-05-26 14:50:07 1 1 python/ pandas/ dataframe/ csv/ dataset

我必須在 pandas 中閱讀很多 .csv 文件並將它們連接起來。 總大小約為 10 GB 的數據，將所有數據連接在一起會給我帶來內存錯誤。

我不確定我是否可以逐個文件或逐塊讀取它們，因為最終我必須應用 SMOTE 來平衡最終數據幀，所以我需要完整的數據集。

我能怎么做？

1 個解決方案

我不知道 Smote 是什么，但這能回答你的問題嗎？

將多個csv文件導入pandas並拼接成一個DataFrame

或這個。

https://pandas.pydata.org/docs/reference/api/pandas.concat.html

在python熊貓中讀取和合並過去14天的csv文件

[英]Read and concat csv files from past 14 days in python pandas

沒有公共列時如何使用 Pandas 連接兩個 CSV 文件

[英]How to concat two CSV files using Pandas when there is no common column

ro如何讀取大量csv索引文件

[英]How ro read a lot of csv indexed files

使用Pandas Python的Concat文件

[英]Concat files using pandas python

如何在python pandas中讀取大量excel文件？

[英]How to read a lot of excel files in python pandas?

使用Glob，OS使用熊貓讀取CSV文件時出錯

[英]Error when using glob, os to read csv files using pandas

熊貓讀取旋轉的csv文件

[英]pandas read rotated csv files

閱讀帶熊貓引號的csv文件

[英]Read csv files with quotes with pandas

無法在 Visual Code 中使用 Pandas 讀取 csv 文件

[英]Cant read csv files using pandas in Visual Code

如何使用 Python pandas 更快地讀取多個 CSV 文件

[英]How to read faster multiple CSV files using Python pandas

暫無

暫無

聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

相關問題 在python熊貓中讀取和合並過去14天的csv文件沒有公共列時如何使用 Pandas 連接兩個 CSV 文件 ro如何讀取大量csv索引文件使用Pandas Python的Concat文件如何在python pandas中讀取大量excel文件？使用Glob，OS使用熊貓讀取CSV文件時出錯熊貓讀取旋轉的csv文件閱讀帶熊貓引號的csv文件無法在 Visual Code 中使用 Pandas 讀取 csv 文件如何使用 Python pandas 更快地讀取多個 CSV 文件

相關標簽

粵ICP備18138465號 © 2020-2024 STACKOOM.COM