python中csv文件導入的限制

Question

我目前正在從我的利益相關者那里獲取數據，他有一個數據庫，他將從該數據庫中提取為 csv 文件。

從那里他將上傳到共享驅動器中，我將獲取數據，可能會下載數據並使用本地源導入 pandas 數據幀。

大概大小為 4000 萬行，我想知道是否可以將數據作為單個 csv 文件從 SQL 數據庫中導出，並且 csv 可以用作 python 數據幀的源，還是應該分塊，因為我不確定是什么csv 文件的行限制是。

我不認為此時內存和處理應該是一個問題。

非常感謝您的幫助。 干杯!

Answer 1

如果您無法直接連接到數據庫，則可能需要 .db 文件。 我不確定 csv 是否能夠處理超過一百萬行。

Answer 2

因為我不確定 csv 文件的行限制是什么。

如果您將 CSV 理解為RFC4180定義的格式，則 CSV 格式沒有這種固有限制，該格式規定 CSV 文件是

file = [header CRLF] record *(CRLF record) [CRLF]

其中[ ... ]表示可選部分，CRLF 表示回車換行 ( \r\n ) 和*( ... )表示重復零次或多次的部分。