推文分析，为LDA制作字典时出现Python错误

Question

我已经使用Python的Twitter API在UTF-8中下载了有关阿姆斯特丹的推文。 现在，我正在尝试使用此代码（仅是代码的一部分，但这是导致错误的部分）为LDA制作字典：

dictionary = corpora.Dictionary(line.lower().split() for line in open(input_file))

这总是会给我一个错误，具体取决于我选择输入哪个txt文件：

UnicodeDecodeError: 'utf8' codec can't decode byte 0xf1 in position 2: invalid continuation byte

要么

 UnicodeDecodeError: 'utf8' codec can't decode byte xxxx in position 175-176: unexpected end of data

我希望它的原因是UTF-8中未知的字符（可能是Tweets中使用的某些表情符号），并且在Googling尝试通过以下方式替换代码后：

dictionary = corpora.Dictionary(line.lower().split() for line in open(input_file, errors='ignore'))

错误消息：

dictionary = corpora.Dictionary(line.lower().split() for line in open(input_file, errors='ignore'))
TypeError: 'errors' is an invalid keyword argument for this function

要么

dictionary = corpora.Dictionary(line.lower().split() for line in open(input_file, 'ignore'))

错误消息：

dictionary = corpora.Dictionary(line.lower().split() for line in open(input_file, 'ignore'))
ValueError: mode string must begin with one of 'r', 'w', 'a' or 'U', not 'ignore'

有没有人有办法解决吗？ 谢谢

Answer 1

您的错误处理在错误的位置。 要求忽略解码错误时无法打开文件； 这发生在线下。

您应该做的是以二进制模式（ rb修饰符）打开文件并读取行。 它们将成为bytes对象。 然后，您可以解码它们并忽略错误：

with open('/tmp/myfile', 'rb') as f:
    for linebytes in f.readlines():
        linestring = linebytes.decode(encoding='utf-8', errors='ignore')

Answer 2

您的输入文件显然不是UTF-8。 应该有文档说明这些Twitter文件的实际编码是什么； 打开文件时，相应地设置编码。

with open(input_file,encoding="whatever Twitter uses") as twitterfile:       
    dictionary = corpora.Dictionary(line.lower().split() for line in twitterfile)

这样，Python会将输入解码为没有错误的字符串，这明显优于忽略错误和破坏数据。

Answer 3

如果您知道要读取的数据是utf-8，则可以导入编解码器模块并使用codecs.open()代替open()

读写Unicode数据

试试看：

import codecs
dictionary = corpora.Dictionary(line.lower().split() for line in codecs.open(input_file, mode='r', encoding='utf-8', errors='ignore'))