python中csv文件导入的限制

Question

我目前正在从我的利益相关者那里获取数据，他有一个数据库，他将从该数据库中提取为 csv 文件。

从那里他将上传到共享驱动器中，我将获取数据，可能会下载数据并使用本地源导入 pandas 数据帧。

大概大小为 4000 万行，我想知道是否可以将数据作为单个 csv 文件从 SQL 数据库中导出，并且 csv 可以用作 python 数据帧的源，还是应该分块，因为我不确定是什么csv 文件的行限制是。

我不认为此时内存和处理应该是一个问题。

非常感谢您的帮助。 干杯!

Answer 1

如果您无法直接连接到数据库，则可能需要 .db 文件。 我不确定 csv 是否能够处理超过一百万行。

Answer 2

因为我不确定 csv 文件的行限制是什么。

如果您将 CSV 理解为RFC4180定义的格式，则 CSV 格式没有这种固有限制，该格式规定 CSV 文件是

file = [header CRLF] record *(CRLF record) [CRLF]

其中[ ... ]表示可选部分，CRLF 表示回车换行 ( \r\n ) 和*( ... )表示重复零次或多次的部分。