如何使同義詞以相同的方式（相同的詞）表示？

Question

我有一個使用詞袋來表示文本的文本分類器。 我一直在想，也許將具有相似含義的單詞聚集在一起並且具有相同的名稱會對我的分類器有益，我會減少詞匯量的大小並可能提高我的指標。 但是，我是 NLP 領域的新手，我不知道該怎么做，你們能給我一個想法嗎？

Answer 1

您可以使用 wordnet（例如來自 NLTK ）並嘗試將每個單詞替換為相應同義詞集的 id。 它會在一定程度上減少詞匯量。 如果你想進一步減少它，你可以通過使用同義詞集的 k 階上位詞（k 是參數）的 id 而不是同義詞集本身，使概念更粗粒度。

當然，您必須以某種方式解決歧義（如果一個詞屬於多個同義詞集怎么辦？如果一個同義詞集有多個上位詞怎么辦？）。