讀取大型txt文件時出現Python“無效參數”錯誤

Question

我正在嘗試預處理一個很大的.txt文件，大約12GB。
以下代碼給出了

無效的論點

錯誤。 我認為發生這種情況是因為數據太大。
有什么辦法可以閱讀這么大的文檔？
我是否需要這些大數據來訓練單詞以生成單詞向量？
還是還有其他錯誤？

with open('data/text8') as f:
    text = f.read()

Answer 1

根據您打算進行哪種文本處理，也許一次閱讀一行就足夠了：

f = open("data/text8", "r")
for line in f:
    # process the string 'line' as desired (it's a single line of the document you opened)

f.close()