优化python代码以获得更好的性能

Question

我有以下代码，它们从一个表中搜索ID并插入到另一个表中。 GENRETB包含约200万条记录，而MOVIETB包含约80万条记录。 该代码工作正常，但速度很慢。 需要帮助来优化和提高这段代码的性能。

import sqlite3

conn = sqlite3.connect('movieDB.db')
print ("Opened database successfully");

cursor = conn.execute("SELECT MOVIENAME FROM GENRETB")

for row in cursor:
    mname = row[0]
    print(mname)
    cursor2 = conn.execute("SELECT ID FROM MOVIETB WHERE MOVIENAME = ?",(mname,))
    for row2 in cursor2:
        mid = row2[0]
        print(mid)
        conn.execute ("UPDATE GENRETB SET ID = ? WHERE MOVIENAME = ?",(mid,mname))

conn.commit()
conn.close()

提前致谢

Answer 1

这很慢，因为内部查询将运行很多次。 最终，您正在使用python进行联接。 最好在sql中使用join。

例如：

cursor = conn.execute("SELECT GENRETB.MOVIENAME, MOVIETB.MOVIENAME, 
MOVIETB.MID FROM GENRETB JOIN MOVIETB ON MMOVIETB.OVIENAME = GENRETB.MOVIENAME")

您甚至可以一次执行而不是多次更新来进行更新。 例如：

UPDATE GENRETB SET ID = (SELECT MID FROM MOVIETB WHERE MOVIENAME = GENRETB.MOVIENAME)

也许您必须更改它，因为我不知道您的数据库。

我不知道是否需要mid打印。 如果是，则只能查询，这样会更快。 如果没有，您实际上不需要运行循环，只需执行一条更新语句。

另一个问题是您尝试做什么是否一个好主意。 这取决于表之间的关系。