如何格式化我的文本数据集进行培训？

Question

我是python和机器学习的新手，我正在研究聊天机器人

我在excel文件（.xlsx）中收集（或写入）了大量可能的输入，我将使用LSTM和IOBES标记来训练我的数据集，我将在这里做同样的事情： https：//www.depends-on-the -definition.com/guide-sequence-tagging-neural-networks-python/

在链接中，您可以看到数据集的快照，我想让我的数据集像它一样。

我的问题是：

1-有没有办法将一个句子分成单词，所以我可以对单词进行标记？ （在Excel中有一个工具，我尝试过但它非常耗尽）。 2-我试图将我的文件转换为.cvs，但是我遇到了很多问题（这是因为我的数据集不是英文版的utf-8），还有其他扩展吗？

我非常感谢你的帮助和建议。 谢谢

Answer 1

您可以使用pandas方法pd.read_excel('your_file.xlsx',sep=',')来避免将文件转换为csv。

要将句子分成单词，您需要使用自然语言处理（NLP）python包，如nltk和英语词汇。 这将考虑标点符号，引号等。

Answer 2

我正在使用openpyxl将excel文件直接加载到内存中。 例如，

from openpyxl import load_workbook
trainingFile = './InputForTraining/1.labelled.Data.V2.xlsx'
trainingSheet = 'sheet1'
TrainingFile = load_workbook(trainingFile)
sheet = TrainingFile[trainingSheet]

然后你不必将excel转换为csv。 有时，如果数据结构很复杂，那么转换就不那么简单了。 您仍然必须编写一些代码来形成结构。 如果你的句子很干净，那么对于分句很容易。 Python具有split（）函数，可以根据空间将字符串拆分为单词列表。 例如，

wordsList = yourString.split()

但是你需要注意标点符号。 它通常紧跟在一个词之后。 您可以使用regEx将标点符号拆分为单词。 例如，

pat = re.compile(r"([.,;:()/&])")
return_text = pat.sub(" \\1 ", return_text)
wordList = return_text.split()

所以[。，; :(）/＆]将从一个单词中分离出来。 或者，如果您根本不需要它们，甚至可以从句子中删除标点符号。 并将它们替换为空间。 例如，

return_text = re.sub("[^a-zA-Z\s1234567890]+", ' ', text).strip().rstrip()

然后只剩下字母和数字。 .strip（）。rstrip（）正在删除多余的空格。