在Postgres中将表的一部分行从一个数据库复制到另一个数据库的最佳方法是什么？

Question

我有一个生产数据库，比如一千万行。 我想从生产过去一小时中提取10,000行左右，然后将它们复制到我的本地方框中。 我怎么做？

假设查询是：

SELECT * FROM mytable WHERE date > '2009-01-05 12:00:00';

如何获取输出，将其导出到某种转储文件，然后将该转储文件导入到我的本地数据库开发副本中 - 尽可能快速，轻松地？

Answer 1

资源：

psql -c "COPY (SELECT * FROM mytable WHERE ...) TO STDOUT" > mytable.copy

目的地：

psql -c "COPY mytable FROM STDIN" < mytable.copy

这假设mytable在源和目标中具有相同的模式和列顺序。 如果不是这种情况，您可以尝试使用STDOUT CSV HEADER和STDIN CSV HEADER而不是STDOUT和STDIN ，但我还没有尝试过。

如果mytable上有任何自定义触发器，则可能需要在导入时禁用它们：

psql -c "ALTER TABLE mytable DISABLE TRIGGER USER; \
         COPY mytable FROM STDIN; \
         ALTER TABLE mytable ENABLE TRIGGER USER" < mytable.copy

Answer 2

源服务器：

BEGIN;

CREATE TEMP TABLE mmm_your_table_here AS
    SELECT * FROM your_table_here WHERE your_condition_here;

COPY mmm_your_table_here TO 'u:\\source.copy';

ROLLBACK;

你的当地包装盒：

-- your_destination_table_here must be created first on your box

COPY your_destination_table_here FROM 'u:\\source.copy';

文章： http ： //www.postgresql.org/docs/8.1/static/sql-copy.html

Answer 3

在psql ，你只需使用你给我们的查询copy ，将其导出为CSV（或任何格式），用\\c切换数据库并导入它。

在psql查看\\h copy 。

Answer 4

使用您添加的约束（不是超级用户），我找不到纯SQL解决方案。 但用你最喜欢的语言做这件事很简单。 打开与“旧”数据库的连接，另一个连接到新数据库，在一个中选择SELECT，在另一个中连接INSERT。 这是Python中经过测试和工作的解决方案。

 #!/usr/bin/python

""" 

Copy a *part* of a database to another one. See
<http://stackoverflow.com/questions/414849/whats-the-best-way-to-copy-a-subset-of-a-tables-rows-from-one-database-to-anoth>

With PostgreSQL, the only pure-SQL solution is to use COPY, which is
not available to the ordinary user.

Stephane Bortzmeyer <bortzmeyer@nic.fr>

"""

table_name = "Tests"
# List here the columns you want to copy. Yes, "*" would be simpler
# but also more brittle.
names = ["id", "uuid", "date", "domain", "broken", "spf"]
constraint = "date > '2009-01-01'"

import psycopg2

old_db = psycopg2.connect("dbname=dnswitness-spf")
new_db = psycopg2.connect("dbname=essais")
old_cursor = old_db.cursor()
old_cursor.execute("""SET TRANSACTION READ ONLY""") # Security
new_cursor = new_db.cursor()
old_cursor.execute("""SELECT %s FROM %s WHERE %s """ % \
                       (",".join(names), table_name, constraint))
print "%i rows retrieved" % old_cursor.rowcount
new_cursor.execute("""BEGIN""")
placeholders = []
namesandvalues = {}
for name in names:
    placeholders.append("%%(%s)s" % name)
for row in old_cursor.fetchall():
    i = 0
    for name in names:
        namesandvalues[name] = row[i]
        i = i + 1
    command = "INSERT INTO %s (%s) VALUES (%s)" % \
              (table_name, ",".join(names), ",".join(placeholders))
    new_cursor.execute(command, namesandvalues)
new_cursor.execute("""COMMIT""")
old_cursor.close()
new_cursor.close()
old_db.close()
new_db.close()