写入 SQL 数据库时出现 I/O 错误

Question

我有一个数据库，我正在向其中插入行并填充值。 我目前在 Python 3 上使用 sqlite3。我发现令人惊讶的是，如果我只是一次手动插入行/值（例如iterations = 1 ），这将起作用。 此外，如果我只是将iterations保持在（大约）100 以下，它也能正常工作！ 但是当我增加迭代次数时，往往会有一些随机变化的迭代次数（通常低于 1000），由于某种原因我不能超过，我每次都观察到下面复制的错误。

是什么导致了这个错误？ 如何克服它以便我可以根据需要进行尽可能大的iterations （例如1000000 ）？ 下面是来自较大代码的一个小而简化的片段：

---

column1 = 'id'
column2 = 'shot'
column3 = 'time'
column4 = 'psi'
column5 = 'temp'
column6 = 'dens'
column7 = 'temp_err'
column8 = 'dens_err'
iterations = 1000
timeout = 100
i = 0 
while i < iterations:
    try:  
        time = 3
        psi = 2 
        unique_id = 232
        temp = 0.4
        dens = 0.2
        temp_err = 0.02
        dens_err = 0.01
        values = [str(unique_id),str(shot),time,psi,temp,dens,temp_err,dens_err]
        conn = sqlite3.connect(sqlite_file,timeout=timeout)
        cursor = conn.cursor()
        cursor.execute("INSERT INTO {tn} ({c1},{c2},{c3},{c4},{c5},{c6},{c7},{c8}) VALUES ({o1},{o2},{o3},{o4},{o5},{o6},{o7},{o8})".\
                    format(tn=table_name,c1=column1,c2=column2,c3=column3,c4=column4,c5=column5,c6=column6,c7=column7,c8=column8,o1=values[0],\
                           o2=values[1],o3=values[2],o4=values[3],o5=values[4],o6=values[5],o7=values[6],o8=values[7]))
        conn.commit() 
        conn.close() 
    except sqlite3.IntegrityError:
        print('ERROR: ID already exists in PRIMARY KEY column {}'.format(column1)) 
    i = i + 1    

我观察到的错误是：

Traceback (most recent call last):

  File "<ipython-input-27-59d2691987a1>", line 18, in <module>
    o2=values[1],o3=values[2],o4=values[3],o5=values[4],o6=values[5],o7=values[6],o8=values[7]))

OperationalError: disk I/O error

我已经尝试增加timeout并在循环外连接/提交/关闭与数据库的连接，但这些方法没有奏效。

---

对我有用的另一个可能的解决方案：

column1 = 'id'
column2 = 'shot'
column3 = 'time'
column4 = 'psi'
column5 = 'temp'
column6 = 'dens'
column7 = 'temp_err'
column8 = 'dens_err'
iterations = 10000
timeout = 100 
with sqlite3.connect(sqlite_file,timeout=timeout) as conn:
    cursor = conn.cursor()
    i = 0 
    while i < iterations:
        try:  
            time = 3
            psi = 2 
            unique_id = 232
            temp = 0.4
            dens = 0.2
            temp_err = 0.02
            dens_err = 0.01
            values = [str(unique_id),str(shot),time,psi,temp,dens,temp_err,dens_err]
            cursor.execute("INSERT INTO {tn} ({c1},{c2},{c3},{c4},{c5},{c6},{c7},{c8}) VALUES ({o1},{o2},{o3},{o4},{o5},{o6},{o7},{o8})".\
                        format(tn=table_name,c1=column1,c2=column2,c3=column3,c4=column4,c5=column5,c6=column6,c7=column7,c8=column8,o1=values[0],\
                               o2=values[1],o3=values[2],o4=values[3],o5=values[4],o6=values[5],o7=values[6],o8=values[7]))
        except sqlite3.IntegrityError:
            print('ERROR: ID already exists in PRIMARY KEY column {}'.format(column1)) 
        i = i + 1  
        print(i)
    conn.commit()  

Answer 1

驱动器上的数据库是如何设置的？ 驱动器可能已满并且无法再写入，或者您的系统在处理吞吐量时遇到问题。

检查 sqlite3 使用的驱动器是否已满，如果没有，请尝试在插入之间添加一个短延迟。 或者，您可以尝试预先计算要插入的所有数据并运行一次大批量插入而不是多个小批量插入。

它不应该与您的 Python 代码以及更多关于 sqlite3/硬件方面的内容相关。

编辑

根据@Jonathan Willcock 的评论，您还可以尝试将所有插入内容包装到一个事务中。

要做到这一点，你必须洗牌一些东西。 流程应该是这样的：

open connection > start transaction > run queries > commit transaction on success / rollback transaction on error > close connection

try:
    conn = sqlite3.connect(sqlite_file, timeout=timeout, isolation_level=None)
    cursor = conn.cursor()
    while i < iterations:
        # your loop here
    conn.commit()
except sqlite3.IntegrityError:
    conn.rollback()
    # other error handling here
finally:
    conn.close()