在python中將文本拆分為單詞

Question

在准備數據（文本文件）進行預處理時。 我無法將文本文件拆分為單詞。

import io
f = io.open("pg5200.txt", mode="r", encoding="utf-8")
text = f.read()
f.close()

import re
words = re.split(r'\W+', text)
print(words[:100])

使用上面的代碼后：問題是我開始時得到了一個額外的空格（“”）。

我可以知道為什么會出現此多余的空間嗎，如何刪除它？

謝謝

Answer 1

您可以使用strip功能。

檢查此答案如何修剪空白？