PostgreSQL查詢通過Python花費的時間太長

Question

#!/usr/bin/env python
import pika


def doQuery( conn, i ) :
    cur = conn.cursor()

    cur.execute("SELECT * FROM table OFFSET %s LIMIT 100000", (i,))


    return cur.fetchall()


print "Using psycopg2"
import psycopg2
myConnection = psycopg2.connect( host=hostname, user=username, 
password=password, dbname=database )

connection = 
pika.BlockingConnection(pika.ConnectionParameters(host='localhost'))
channel = connection.channel()

channel.queue_declare(queue='task_queue2')

endloop = False
i = 1
while True:

  results = doQuery( myConnection, i )



    j = 0
    while j < 10000:

      try:
        results[j][-1]
      except:
        endloop = True
      break


      message = str(results[j][-1]).encode("hex")

      channel.basic_publish(exchange='',
                routing_key='task_queue2',
                body=message
                #properties=pika.BasicProperties(
                    #delivery_mode = 2, # make message persistent
                )#)



       j = j + 1

# if i % 10000 == 0:
#   print i

  if endloop == False:
    break        

  i = i + 10000

當i達到100,000,000時，SQL查詢執行時間太長，但是我需要將大約20 億個條目放入隊列。 有人知道我可以運行一個更高效的SQL查詢，以便更快地將所有這20億個隊列放入隊列嗎？

Answer 1

psycopg2支持服務器端游標 ，即在數據庫服務器而非客戶端上管理的游標。 完整的結果集不會一次全部傳輸到客戶端，而是根據需要通過游標接口將其饋送到客戶端。

這將使您無需使用分頁即可執行查詢（如LIMIT / OFFSET實現），並且將簡化代碼。 要使用服務器端游標，請在創建游標時使用name參數。

import pika
import psycopg2

with psycopg2.connect(host=hostname, user=username, password=password, dbname=database) as conn:
    with conn.cursor(name='my_cursor') as cur:    # create a named server-side cursor
        cur.execute('select * from table')

        connection = pika.BlockingConnection(pika.ConnectionParameters(host='localhost'))
        channel = connection.channel()
        channel.queue_declare(queue='task_queue2')

        for row in cur:
            message = str(row[-1]).encode('hex')
            channel.basic_publish(exchange='', routing_key='task_queue2', body=message)

如有必要，您可能需要調整cur.itersize以提高性能。