优化短语中字符串的搜索。 不知道我需要使用哪种Python结构

Question

我有一个文件，其中包含几个单词后跟一个整数（它的重量）：

home 10
house 15
village 20
city 50
big 15
small 5
pretty 10
...

等等。

我需要对一些短语进行加权，如果它们匹配，则使用它们的单词和包含在前一个文件中的单词。

“我住在一个大城市的房子里”这句话重量0 + 0 + 0 + 0 + 15 + 0 + 0 + 10 + 50 = 75

这是我使用Python的第一种方法，即使我有使用C的良好经验：我遇到的困难是我无法达到所需的性能，因为我无法以正确的方式使用正确的Python结构。 我能够正确地对这些短语进行加权，但使用了几个“for”和一个函数调用，就像我使用C一样。

def weight_word(word, words_file):
    fp = open(words_file)
    weight = 0
    line = fp.readline()
    while line:
    # One method I discovered to parse the line where there's
    # a word, a tab and its weight
    left, tab_char, right = line.partition('\t')
    if re.match(re.escape(word), left, re.I):
            # The previous re.match didn't guarantee an exact match so I need
            # even to control their lenghts...
        if len(word) == len(left): 
            weight = right
            break
        line = fp.readline()
    fp.close
    return float(weight)

def main():
    my_dict = {"dont parse me":"500", "phrase":"I live in a house in a small city", "dont parse me again":"560"}
    my_phrase = my_dict["phrase"].split()
    phrase_weight = 0
    for word in iter(my_phrase):
        phrase_weight = phrase_weight + weight_word(word, sys.argv[1])
    print "The weight of phrase is:" + str(phrase_weight)

现在我刚刚发现了一些对我的案例有用的东西，但我不知道如何恰当地使用它：

def word_and_weight(fp):
    global words_weight
    words_weight = {}
    for line in fp:
        word, weight = line.split('\t')
        words_weight[word] = int(weight)

我怎样才能避免前一个for和我的函数调用我的短语中的每个单词，以及如何使用最后一种由单词索引的“数组”？ 我现在有点困惑。

Answer 1

你的映射是一本字典：

>>> d = {'foo': 32, 'bar': 64}
>>> d['bar']
64

要获得句子的权重，您可以将单个单词的权重相加：

weight = 0

for word in sentence.split():
    weight += weights[word]

或者使用正则表达式：

for word in re.finditer(r'(\w+)', sentence):
    ...

您可以使用sum和生成器使其更简洁：

weight = sum(weights[word] for word in sentence.split())

如果你的字典中没有一些单词，你可以使用dict.get()的第二个参数返回0 ，以防一个单词不存在：

weight = sum(weights.get(word, 0) for word in sentence.split())

Answer 2

你的第一个传递算法是为你的短语中的每个单词打开并解析你的单词文件，无论语言如何，这都是很糟糕的。 你的word_and_weight函数不那么糟糕，但你不需要全局变量。 假设你的my_dict设置方式是有原因的，并且不介意权重文件中缺少输入保护，我会这样做：

import fileinput

def parse_word_weights():
    word_weights = {}
    for line in fileinput.input():
        word, weight = line.strip().split('\t')
        word_weights[word] = int(weight)
    return word_weights

def main():
    word_weights = parse_word_weights()

    my_dict = {"dont parse me":"500", "phrase":"I live in a house in a small city", "dont parse me again":"560"}
    my_phrase = my_dict["phrase"].split()
    phrase_weight = sum((word_weights.get(word, 0) for word in my_phrase))
    print "The weight of phrase is:" + str(phrase_weight)

这使用fileinput标准库来标准化文件输入 - 这是唯一的选择，但它非常方便。 sum调用正在生成器表达式上运行，该表达式将依次懒惰地评估每个单词的单词查找。

明确的for循环加上短语权重并没有什么问题，但总和调用是更惯用的。 如果您坚持使用for循环，则不需要在my_phrase上进行iter调用 - split的输出可以直接迭代。