sqlite3中的索引和RAM

Question

我需要写〜147m行。 如果我在没有索引的情况下配置数据库，则一切正常：

conn = sqlite3.connect('db.db')
cur = conn.cursor()
cur.execute('''CREATE TABLE IF NOT EXISTS NodesRefStop (stop_id text, stop_lat text, stop_lon text,
                stop_id_ref text, stop_lat_ref text, stop_lon_ref text, stop_type_ref text, distance REAL )''')
cur.execute('PRAGMA synchronous = 0')
conn.commit()

但是，如果我添加索引，sqlite会占用我所有的RAM：

conn = sqlite3.connect('db.db')
cur = conn.cursor()
cur.execute('''CREATE TABLE IF NOT EXISTS NodesRefStop (stop_id text, stop_lat text, stop_lon text,
                stop_id_ref text, stop_lat_ref text, stop_lon_ref text, stop_type_ref text, distance REAL )''')
cur.execute("CREATE INDEX dist_index ON NodesRefStop (distance);")
cur.execute("CREATE INDEX stop_id_index ON NodesRefStop (stop_id);")
cur.execute('PRAGMA synchronous = 0')
conn.commit()

我该怎么办？

Answer 1

我从来没有遇到过这个问题，但是我很好奇，我进行了搜索，这显然是一个已知问题。

http://sqlite.1065341.n5.nabble.com/Index-memory-usage-in-SQLite-td41624.html

这里有一篇关于sqlite优化的有趣文章： https : //katastrophos.net/andre/blog/2007/01/04/sqlite-performance-tuning-and-optimization-on-embedded-systems/

“尝试仅在静态数据或变化不大的数据上使用索引。在实时数据或临时数据上建立索引在性能上可能是昂贵的。” ...在每个数据库中都是如此，不仅使用sqlite。

如果您在数据的开头和之后插入所有这些行，而在数据不经常更改的情况下，则可以尝试仅在结尾处添加索引。 您是否在单个事务中插入所有行？ 也许您可以分批完成。