[英]How to search if large text file contains words from sentence using python?
我有一个包含单词及其引理的文本文件 - 每行都包含第一列中的单词形式和第二列中的单词引理。
我有一个推文(句子)列表,我需要将其转换为词引理 - 每个单词都需要转换为其引理(文本文件的第二列)
我尝试为每个单词打开和关闭文本文件,但这需要太长时间(每个单词在文本文件中找到它们的引理大约需要 15 秒)。 功能如下。
def returnLemma(str):
str= word_tokenize(str)
end_str = ""
for word in str:
infile = open('MorphDict.txt', 'r')
for line in infile:
line.strip()
prva=line.split()[0]
druga=line.split()[1]
if word==prva:
end_str = end_str+" "+druga
break;
infile.close()
return end_str
是否可以更有效地搜索此文本文件 (>100MB)? 是否可以使用pandas 包来解决它?
我会像这样编写相同的函数:
from collections import defaultdict
word_tokenize = lambda s: s.split()
def returnLemma(s, morph_lines):
tokens = word_tokenize(s)
token_positions = defaultdict(list)
for i, t in enumerate(tokens):
token_positions[t].append(i)
drugas = [None] * len(tokens)
for line in morph_lines:
line = line.strip()
parts = line.split(maxsplit=3)
prva = parts[0]
try:
positions = token_positions[prva]
except KeyError:
pass
else:
druga = parts[1]
for i in positions:
drugas[i] = druga
return ' ' + ' '.join(
druga if druga is not None else token
for token, druga in zip(tokens, drugas)
)
import unittest
class ReturnLemmaTest(unittest.TestCase):
def test_when_nothing_matches_then_it_returns_a_single_space(self):
result = returnLemma('hello world', ['line 1', 'line 2'])
self.assertEqual(' hello world', result)
def test_when_one_line_matches_then_it_returns_its_second_word(self):
result = returnLemma('hello world line-b', ['line-a 1', 'line-b 2'])
self.assertEqual(' hello world 2', result)
def test_when_many_lines_match_then_it_returns_their_second_words_separated_by_a_space(self):
result = returnLemma('hello b world b c', ['a 0', 'b 1', 'c 2'])
self.assertEqual(' hello 1 world 1 2', result)
if __name__ == '__main__':
unittest.main()
returnLemma
的第二个参数可以是一个打开的文件,但用列表测试更容易。
这是最终的工作代码 - 对@Javier 的功能进行了微小的更改。 感谢大家的帮助,尤其是@Javier 和@MaxU。
from nltk.tokenize import word_tokenize
from collections import defaultdict
def vratiLemu(s, morph_lines):
tokens = word_tokenize(s)
token_positions = defaultdict(list)
for i, t in enumerate(tokens):
token_positions[t].append(i)
for line in morph_lines:
line = line.strip()
parts = line.split()
prva = parts[0]
try:
positions = token_positions[prva]
except KeyError:
pass
else:
druga = parts[1]
for i in positions:
tokens[i] = druga
return ' ' + ' '.join(druga for druga in tokens if druga is not None)
morphDict= open('SveSrpMDANSI.txt', 'r')
out=vratiLemu1("Suštinsko pitanje nije postavljeno: zašto predsednik odbora nije otvorio pretres a morao je",morphDict)
print out
Suštinsko pitanje jesam postavljen : zašto predsednik odbor jesam otvoriti pretres a morati jeste
当您需要比较两个列表的元素并且一个比另一个小很多时,请在内循环中使用最小的。 这总是会更有效率。
尽量不要两次做同样的工作。 分割线时,请保留零件,以便您不需要再次执行此操作。
line.strip()
不改变line
,而是生成一个没有空格的新行。 使用line = line.strip()
。
您可以寻找到开头,而不是反复打开文件。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.