最好使用keras.preprocessing.tokenizer或nltk.tokenize

Question

我正在使用Keras處理多類分類問題。 嘗試使用Keras標記化，但認為nltk.tokenizer將是解決我的問題的更好解決方案。 我發現沒有哪一篇文章可以描述這兩個分詞器之間的區別，兩者之間的區別和准確性是什么？

Answer 1

默認情況下，它們都使用一些基於正則表達式的標記化。 不同之處在於它們的復雜性：

• Keras令牌生成器僅替換某些標點符號並在剩余的空格字符上進行分割。
• NLTK令牌生成器使用Treebank令牌生成器使用正則表達式對文本進行令牌化，就像在Penn Treebank中一樣。 此實現是Robert McIntyre編寫的tokenizer sed腳本的一部分，該腳本可從http://www.cis.upenn.edu/~treebank/tokenizer.sed獲得 。

它們都非常快，因為它們僅運行正則表達式。 如果您的基本文本沒有太多的標點符號或亂序的字符，那么Keras可能是最簡單的選擇。

如果您實際上想要一個基於神經網絡的神經網絡，可以正確解析數字，日期等並可能執行詞性標記，則可以使用實體識別：

• Stanford CoreNLP提供了處理文本，查找依賴項，識別實體等的完整管道。
• SpaCy還是完整的Python NLP管道，可為您提供相似的結果以及加載相應的詞向量，例如GloVe。

上面的兩個方法比任何基於正則表達式的方法都要慢，但這取決於您要處理的源文本。