将数据库从 python 导出到 postgresql

Question

I've done cleaning my data in python using pandas and now I need to feed the data into PostgreSQL, however, my data has 9m+ rows which is impossible for me to output as a single CSV file. 我有哪些选项可以将数据从 python 导出到 PostgreSQL？ 感谢任何帮助。 谢谢

Answer 1

您可以在 python 脚本中使用 psycopg2 连接到 postgres。 将 psycopg2 模块导入您的脚本。 使用您的 SQL 脚本创建一个变量，然后调用该查询。 您需要为主机、数据库、用户和密码输入适当的值。 有关更多详细信息，请参阅 psycop 文档https://www.psycopg.org/

import psycopg2

your_data = df.to_dict(orient='records')

insert_query= """
   INSERT INTO...
   VALUES (%s)
"""
with psycopg2.connect(host=host, database=database, user=user, password=password) as conn:
    with conn.cursor() as cur:
        extras.execute_batch(cur, insert_query,your_data, page_size=100)