从句子列表创建标记将返回字符而不是单词

Question

from nltk.tokenize import sent_tokenize

text = open(path).read().lower().decode("utf8")
sent_tokenize_list = sent_tokenize(text)

tokens = [w for w in itertools.chain(*[sent for sent in sent_tokenize_list])]

最后一行“令牌”返回字符而不是单词。

为什么会这样，如何获取返回的单词呢？ 尤其要考虑根据句子列表进行操作。

Answer 1

因为sent_tokenize返回一个字符串语句列表，并且itertools.chain将可迭代对象链接到单个可迭代的返回项，每次从一个返回一次，直到用尽为止。 实际上，您已经将句子重新组合为一个字符串，并在列表推导中对其进行了迭代。

要从句子列表中创建一个单词列表，您可以例如拆分和拼合：

tokens = [word for sent in sent_tokenize_list for word in sent.split()]

这不会处理标点符号，但是您的原始尝试也不会。 您的原件也可以与split一起使用：

tokens = [w for w in itertools.chain(*(sent.split()
                                       for sent in sent_tokenize_list))]

请注意，您可以使用生成器表达式而不是列表推导作为解压缩的参数。 更好的是，使用chain.from_iterable ：

tokens = [w for w in itertools.chain.from_iterable(
    sent.split() for sent in sent_tokenize_list)]

对于标点符号处理，请使用nltk.tokenize.word_tokenize而不是str.split 。 它会将单词和标点符号作为单独的项返回，并例如将I's拆分为I和's （这当然是一件好事，因为它们实际上是单独的单词，只是收缩了）。

Answer 2

也许您应该使用word_tokenize而不是sent_tokenize ？

from nltk.tokenize import word_tokenize

text = open(path).read().lower().decode("utf8")
tokens = word_tokenize(text)

http://www.nltk.org/api/nltk.tokenize.html#nltk.tokenize.word_tokenize

Answer 3

首先，如果文件位于'utf8'中，并且您使用的是Python2，则最好在io.open()使用encoding='utf8'参数：

import io

from nltk import word_tokenize, sent_tokenize

with io.open('file.txt', 'r', encoding='utf8') as fin:
    document = []
    for line in fin:
        tokens += [word_tokenize(sent) for sent in sent_tokenize(line)]

如果是Python3，只需执行以下操作：

from nltk import word_tokenize 

with open('file.txt', 'r') as fin:
    document = []
    for line in fin:
        tokens += [word_tokenize(sent) for sent in sent_tokenize(line)]

看看http://nedbatchelder.com/text/unipain.html

---

至于标记化，如果我们假设每一行都包含某种可能由一个或多个句子组成的段落，我们希望首先初始化一个列表来存储整个文档：

document = []

然后我们遍历各行，并将行拆分为句子：

for line in fin:
    sentences = sent_tokenize(line)

然后，我们将句子拆分为标记：

token = [word_tokenize(sent) for sent in sent_tokenize(line)]

由于我们要更新文档列表以存储标记化句子，因此我们使用：

document = []
for line in fin:
    tokens += [word_tokenize(sent) for sent in sent_tokenize(line)]

---

不建议！！！ （但仍然可以在一行中）：

alvas@ubi:~$ cat file.txt
this is a paragph. with many sentences.
yes, hahaah.. wahahha... 
alvas@ubi:~$ python
Python 2.7.11+ (default, Apr 17 2016, 14:00:29) 
[GCC 5.3.1 20160413] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import io
>>> from itertools import chain
>>> from nltk import sent_tokenize, word_tokenize
>>> list(chain(*[[word_tokenize(sent) for sent in sent_tokenize(line)] for line in io.open('file.txt', 'r', encoding='utf8')]))
[[u'this', u'is', u'a', u'paragph', u'.'], [u'with', u'many', u'sentences', u'.'], [u'yes', u',', u'hahaah..', u'wahahha', u'...']]