簡體   English   中英

crf ++中的中文一詞標記和多詞標記有什么區別?

[英]What's the difference in one word token and mulit-word token in crf++ for Chinese?

我使用crf ++進行中文命名實體識別。訓練文件的第一列是令牌表示當前單詞。我看到有人僅在第一列中使用一個漢字,但有人使用諸如中國的許多漢字。

中文單詞可以是1個漢字或乘以漢字:
中表示英文單詞-middle。
國代表另一個英語單詞-country。
中國代表英語單詞-China。
它們是相同的-當前單詞-就像“中國”有5個英文字符,中國有2個漢字-都是cft ++中的當前單詞。

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM