使用 .csv 文件的最佳方法，具有 4 个 gigas

Question

我从事数据科学。 我有一个 .csv 文件，其中包含 5kk 条记录和 3.9gigas 大小。 处理它的最佳做法是什么？ 我通常使用 vscode 或 jupyter，即使我将 max-memory 设置为 10gigas，加载等操作也需要花费太多时间才能完成。

你有什么建议来改进我的工作？

notebook lenovo S145 20gigas ram i7-8565U - Ubuntu

谢谢

Answer 1

如果您想将 CSV 带入数据库进行报告，一个相当快速且简单的选择是使用外部表。 它在创建表定义中使用类似于SQLLDR的语法。 一旦建立，最新保存的 CSV 数据将立即作为数据库中的表提供。