根據列表對單詞進行標記
[英]Tokenize the words based on a list
問題描述
我需要根據特定單詞列表對句子中的單詞進行標記。
wordlist = ["nlp - nltk", "CIFA R12 - INV"]
輸入示例：這是nlp - nltk CIFA R12 - INV示例文本。
在使用word_tokenize（Exapmle-input）時，這里我需要nlp - nltk作為一個令牌，而CIFA R12 - INV作為另一個令牌。 這有可能而不是獲得nlp - CIFA作為不同的令牌嗎？
1 個解決方案
解決方案1
1 已采納 2018-05-07 11:24:33
對於那些將來來這里的人：
經過一番閱讀，我發現nltk.tokenize.mwe模塊是實現我上述要求的選項。
參考： http : //www.nltk.org/api/nltk.tokenize.html#module-nltk.tokenize.mwe
如何根據單詞列表標記字符串
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.