防止 spaCy 對空格分隔的數字進行標記
[英]Prevent spaCy from tokenizing space-delimited numbers
問題描述
我正在尋找一種方法來防止 spaCy 對以空格分隔的數字進行標記，如這句話：
這輛車將花費 10 000 美元。
“10 000”應該是一個表示“萬”的記號。
我需要修改哪些標記化規則才能實現這一點？
1 個解決方案
解決方案1
0 2021-07-16 09:37:30
分詞器並不真正支持這一點。 相反，您可以使用匹配器找到正確的跨度，然后使用 retokenizer 在文檔中合並這些跨度。
在 Python 中制作（以空格分隔的）文本文件的列（或行）數組
[英]Making arrays of columns (or rows) of a (space-delimited) textfile in Python
在對字符串進行標記時，如何防止 spacy 的標記生成器拆分特定的子字符串？
[英]How can I prevent spacy's tokenizer from splitting a specific substring when tokenizing a string?
如何將帶有空格分隔整數的多行字符串拆分為每行的列表列表
[英]How to split a multiline string with space-delimited integers to a list of lists for each line
我如何消除間距，換行符，以使列表python中的每個字符串都有一個以空格分隔的字符串
[英]How would I eliminate spacing, line breaks to have a space-delimited string for each string within my list python
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.