用nltk分割句子，同时保留引号

Question

我正在使用nltk将文本拆分为句子单元。 但是，我需要将包含引号的句子作为单个单元提取。 现在每个句子，即使它在一个引用中，也被提取为一个单独的部分。

这是我尝试提取为单个单元的一个示例：

"This is a sentence. This is also a sentence," said the cat.

现在我有这个代码：

import nltk.data
tokenizer = nltk.data.load('tokenizers/punkt/english.pickle')

text = 'This is a sentence. This is also a sentence," said the cat.'

print '\n-----\n'.join(tokenizer.tokenize(text, realign_boundaries=True))

这很好用，但即使引号本身包含多个句子，我也希望在其中保留带引号的句子。

上面的代码产生：

This is a sentence.
-----
This is also a sentence," said the cat.

我试图将整个文本提取为一个单元：

"This is a sentence. This is also a sentence," said the cat.

有没有一种简单的方法可以使用nltk执行此操作，还是应该使用正则表达式？ 我对nltk入门是多么容易感到印象深刻，但现在被卡住了。

Answer 1

如果我正确理解了这个问题，那么这个正则表达式应该这样做：

import re

text = '"This is a sentence. This is also a sentence," said the cat.'

for grp in re.findall(r'"[^"]*\."|("[^"]*")*([^".]*\.)', text):
    print "".join(grp)

它是两种模式的组合或组合在一起。 第一个发现普通的引用句子。 第二个发现普通句子或句子，引用后跟一个句号。 如果你有更复杂的句子，可能需要进一步调整。

Answer 2

只需将print语句更改为：

print ' '.join(tokenizer.tokenize(text, realign_boundaries=True))

这将使用空格而不是\\n-----\\n将句子连接起来。