如何使用python提高对sql数据库的写入速度

Question

我正在尝试找到一种更好的方法，使用python将数据推送到sql db。 我已经尝试过cursor.fast_executemany() dataframe.to_sql()方法和cursor.fast_executemany()但是它们似乎并没有提高我正在使用的数据的速度（数据在csv文件中）。 有人建议我可以使用命名元组和生成器来加载数据，速度要比熊猫快得多。

[通常，csv文件的大小至少为1GB，并且推送一个文件大约需要10-17分钟]

我对python的许多概念还很陌生，因此请提出一些方法或至少参考显示任何信息的任何文章。 提前致谢

Answer 1

如果您尝试将csv照原样插入数据库（即不对熊猫进行任何处理），则可以在python中使用sqlalchemy来执行“批量插入[参数，文件等]”。 另外，我发现读取csv，进行处理，写入csv，然后进行批量插入是一种选择。

否则，可以随意指定更多要完成的操作，在插入数据库之前需要如何处理数据等。