Python-如何删除包含西班牙语单词的句子

Question

如标题所示，我有一个数据集，其中包含英语或西班牙语的字符串。 在进行预处理之前，我要删除任何包含西班牙语单词的行。

我是否应该在整个数据集中使用西班牙语语料库循环来查看句子中是否存在西班牙语单词？

任何帮助将非常感激。

Answer 1

我认为您要使用的库是langdetect 。 这是我刚刚整理的一些示例代码+输出。

from langdetect import detect

sentences = ["hello, how are you",
             "Hola cómo estás",
             "I've had a great day"]

for sentence in sentences:
    print(detect(sentence)) # outputs 'en', 'es', 'en'

希望对您有所帮助，很高兴回答任何后续问题