[英]What's the difference in one word token and mulit-word token in crf++ for Chinese?
我使用crf ++進行中文命名實體識別。訓練文件的第一列是令牌表示當前單詞。我看到有人僅在第一列中使用一個漢字,但有人使用諸如中國的許多漢字。
中文單詞可以是1個漢字或乘以漢字:
中表示英文單詞-middle。
國代表另一個英語單詞-country。
中國代表英語單詞-China。
它們是相同的-當前單詞-就像“中國”有5個英文字符,中國有2個漢字-都是cft ++中的當前單詞。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.