Python nlpaug Sentece 增强器错误（50256 不在列表中）

Question

以下代码对 GPT2 和 X.net 基础都产生了这个错误。 下载bases，但是每次最后都是同样的错误提示。 顺便说一下，我正在使用 google colab。 ValueError：50256 不在列表中

`

import nlpaug
import nlpaug.augmenter.word as naw
import nlpaug.augmenter.sentence as nas
text = "The quick brown fox jumped over the lazy dog"

aug_cs_gpt2 = nas.ContextualWordEmbsForSentenceAug(model_type = 'gpt2')
temp = aug_cs_gpt2.augment(text)
print(temp)

aug_cs_xlnet = nas.ContextualWordEmbsForSentenceAug(model_type = 'xlnet')
temp = aug_cs_xlnet.augment(text)
print(temp)

期望打印增强文本。

    AttributeError                            Traceback (most recent call last)
<ipython-input-41-6810452650ff> in <module>
      9 
     10 aug_cs_xlnet = nas.ContextualWordEmbsForSentenceAug(model_type = 'xlnet')
---> 11 temp = aug_cs_xlnet.augment(text)
     12 print(temp)

2 frames
/usr/local/lib/python3.8/dist-packages/nlpaug/augmenter/sentence/context_word_embs_sentence.py in _custom_insert(self, all_data)
    148                 # Mask token is needed for xlnet. No mask token for gpt2
    149                 if self.model_type in ['xlnet']:
--> 150                     text += ' ' + self.model.MASK_TOKEN
    151 
    152                 texts.append(text)

AttributeError: 'Gpt2' object has no attribute 'MASK_TOKEN'

Answer 1

这是 0.0.16 之前版本的nlpaug中的一个已知错误。 您应该将nlpaug升级到比这个版本更新的版本，问题应该就会消失。