对于频繁搜索，以下哪个数据结构是最好的？

Question

我有一个包含一些内容的文本文件。 我需要经常搜索此内容。 我有以下两种选择，哪一种是最好的（通过更快的执行速度）？

方法1：

def search_list(search_string):
    if search_word in li:
        print "found at line ",li.indexOf(search_word)+1

if __name__="__main__":
    f=open("input.txt","r")
    li=[]
    for i in f.readlines():
        li.append(i.rstrip("\n"))
    search_list("appendix")

方法2：

def search_dict(search_string):
    if d.has_key(search_word):
        print "found at line ",d[search_word]

if __name__="__main__":
    f=open("input.txt","r")
    d={}
    for i,j in zip(range(1,len(f.readlines())),f.readlines()):
        d[j.rstrip("\n")]=i
    search_dict("appendix")

Answer 1

如果您确实经常这样做，那么第二种方法会更快（您已经建立了类似索引的内容）。

稍微调整一下即可：

def search_dict(d, search_string):
    line = d.get(search_string)
    if line:
        print "found at line {}".format(line)
    else:
        print "string not found"

d = {}
with open("input.txt", "r") as f:
    for i, word in enumerate(f.readlines(), 1):
        d[word.rstrip()] = i
search_dict(d, "appendix")

Answer 2

对于频繁搜索，字典肯定更好（只要您有足够的内存来存储行号），因为在O（1）操作中对键进行了散列和查找。 但是，您的实现无法正常工作。 第一个f.readlines()将耗尽文件对象，而第二个f.readlines()则不会读取任何内容。

您正在寻找的是enumerate ：

with open('data') as f:
    d = dict((j[:-1],i) for i,j in enumerate(f,1))

---

还应该指出的是，在两种情况下，如果您通常使用try/except进行查找，则执行搜索的功能将更快，前提是通常找到了要查找的索引。 （在第一种情况下，无论如何它可能会更快，因为in是N阶操作，列表的.index也是如此）。

例如：

def search_dict(d, search_string):
    try:
        print "found at line {0}".format(d[search_string])
    except KeyError:
        print "string not found"

或列表：

def search_list(search_string):
    try:
        print "found at line {0}".format(li.indexOf(search_word)+1)
    except ValueError:
        print "string not found"

Answer 3

在阅读eumiro和mgilson的答案后，我将其发布。

如果您在命令行上比较这两种方法，我想您会发现第一种更快。 表示第二种方法的其他答案更快，但是它们的前提是您在建立索引后对文件进行多次搜索。 如果从命令行按原样使用它们，则不会。

索引的建立比直接搜索字符串要慢 ，但是一旦建立了索引，就可以非常快速地完成搜索，从而弥补了建立索引所花费的时间。 如果只使用一次，则将浪费额外的时间，因为在程序完成后，索引将被丢弃，并且在下一次运行时必须重新构建索引。 您需要在两次查询之间将创建的索引保留在内存中，以得到回报。

有多种方法可以执行此操作，一种方法是使守护进程保存索引并使用前端脚本对其进行查询。 在Google上搜索诸如python daemon client communication内容将为您提供实现此操作的指导- 这是一种方法 。

Answer 4

第一个是O（n）； 第二个是O（1），但它需要在键上进行搜索。 我会选第二个。

如果您在文档中进行临时搜索，那么这两种方法都不会起作用。 为此，您需要使用Lucene之类的方法进行解析和索引。

Answer 5

抛出的另一种选择是使用SQLite3提供的FTS ...（未经测试，并假设您要查找整个单词，而不是单词的子字符串或其他类似的东西）

import sqlite3

# create db and table
db = sqlite3.connect(':memory:') # replace with file on-disk?
db.execute('create virtual table somedata using fts4(line)')

# insert the data
with open('yourfile.txt') as fin:
    for lineno, line in enumerate(fin):
        # You could put in a check here I guess...
        if somestring in line:
            print lineo # or whatever....
        # put row into FTS table
        db.execute('insert into somedata (line) values (?)', (line,))
    # or possibly more efficient
    db.executemany('insert into somedata (line) values (?)', fin)
db.commit()

look_for = 'somestring'
matches = db.execute('select rowid from somedata where line match ?', (look_for,) )
print '{} is on lines: {}'.format(look_for, ', '.join(match[0] for match in matches))

如果只需要第一行，则将limit 1添加到查询的末尾。

您还可以查看使用mmap映射文件，然后使用.find方法获取字符串的最早偏移量，然后假设它不是-1 （即未找到-假设为123456），然后执行mapping_file [：123456 ] .count（'\\ n'）+1以获取行号。