Jupyter Notebook 中“to_sql”命令中的内存错误

Question

我正在 AWS Sage Maker 上开发 jupyter 笔记本。 我对 5000 行的数据进行了文本处理。 我想使用以下代码将其写入另一个 SQL 查询。

conn=sqlite3.connect('final_2.sqlite')
c=conn.cursor()
conn.text_factory=str
final.to_sql('Reviews',conn,schema=None,if_exists='replace')

它节省了 2.09 GB 并停止了。 当我打开这个文件时，它不考虑作为文件。 然后我尝试写入一个 .csv 文件，但仍然是同样的问题。 当我下载并打开 csv 时，出现以下错误。

Jupyter Notebook
current mode
File
Edit
View
Language
1
Error! Traceback (most recent call last):
2
  File "/home/ec2-user/anaconda3/envs/JupyterSystemEnv/lib/python3.6/site-packages/tornado/web.py", line 1699, in _execute
3
    result = await result
4
  File "/home/ec2-user/anaconda3/envs/JupyterSystemEnv/lib/python3.6/site-packages/tornado/gen.py", line 209, in wrapper
5
    yielded = next(result)
6
  File "/home/ec2-user/anaconda3/envs/JupyterSystemEnv/lib/python3.6/site-packages/notebook/services/contents/handlers.py", line 112, in get
7
    path=path, type=type, format=format, content=content,
8
  File "/home/ec2-user/anaconda3/envs/JupyterSystemEnv/lib/python3.6/site-packages/notebook/services/contents/filemanager.py", line 438, in get
9
    model = self._file_model(path, content=content, format=format)
10
  File "/home/ec2-user/anaconda3/envs/JupyterSystemEnv/lib/python3.6/site-packages/notebook/services/contents/filemanager.py", line 365, in _file_model
11
    content, format = self._read_file(os_path, format)
12
  File "/home/ec2-user/anaconda3/envs/JupyterSystemEnv/lib/python3.6/site-packages/notebook/services/contents/fileio.py", line 309, in _read_file
13
    bcontent = f.read()
14
MemoryError
15
​
16
Saving disabled.
17
See Console for more details.

我尝试在 python 中检查我的可用空间，但仍然有大约 30 GB 的可用空间。

有人可以让我知道这种情况有什么问题吗？谢谢！

Answer 1

这个确切的问题发生在我身上。 我已经通过增加 RAM 大小解决了这个问题。

出现问题是因为to_sql命令试图将整个数据帧转换为 SQL 代码。 有一次它耗尽了内存。

解决它以批量加载数据的方法，如下所示：

batch_size = 10000
for i in range(0,range(len(final)),batch_size):
    final[i,i+batch_size].to_sql('Reviews',con=conn,schema=None,if_exists='append')