从Python缓慢插入MySQL

Question

我正在尝试使用python（pymysql连接器）将一些数据插入MySQL数据库，而我的性能却真的很差（每秒插入约10行）。 该表是InnoDB，我正在使用多值insert语句，并确保已关闭自动提交。 为什么我的插入仍然这么慢的任何想法？

最初，我认为未正确禁用自动提交功能，但是我添加了代码以测试每个连接期间是否禁用了自动提交功能（= 0）。

这是我的示例代码：

for i in range(1,500):
    params.append([i,i,i,i,i,i])
insertDB(params)

def insertDB(params):
    query = """INSERT INTO test (o_country_id, i_country_id,c_id,period_id,volume,date_created,date_updated)
        VALUES (%s,%s,%s,%s,%s,NOW(),NOW())
        ON DUPLICATE KEY UPDATE trade_volume = %s, date_updated = NOW();"""
    db.insert_many(query,params)

def insert_many(query,params=None):
    cur = _connection.cursor()
    try:
        _connection.autocommit(False)
        cur.executemany(query,params)
        _connection.commit()
    except pymysql.Error, e:
        print ("MySQL error %d: %s" %
            (e.args[0], e.args[1]))
    cur.close()

还有什么可能是问题？ 上面的示例需要花费大约110秒的时间才能执行。

Answer 1

不知道出什么问题了，但是我会尝试使用mysqldb和/或mysql连接器模块，看看是否获得相同的性能数字。