pyspark toPandas错误？

Question

我有一个混乱且非常大的数据集，其中包含汉字，数字，字符串，日期等。 在我使用pyspark进行了一些清洁并将其变成大熊猫之后，它引发了以下错误：
IOPub data rate exceeded. The notebook server will temporarily stop sending output to the client in order to avoid crashing it. To change this limit, set the config variable --NotebookApp.iopub_data_rate_limit. 17/06/06 18:48:54 WARN TaskSetManager: Lost task 8.0 in stage 13.0 (TID 393, localhost): TaskKilled (killed intentionally)

在错误之上，它输出了我的一些原始数据，这很长。 所以我只发布了一部分。

我已经检查了清理的数据。 所有列类型均为int ， double 。 为什么仍然输出我的旧数据？

Answer 1

尝试启动jupyter笔记本，将'iopub_data_rate_limit'增加为：

jupyter笔记本--NotebookApp.iopub_data_rate_limit = 10000000000

来源： https ： //github.com/jupyter/notebook/issues/2287

Answer 2

最好的方法是将其放在jupyterhub_config.py文件中：

c.Spawner.args = ['--NotebookApp.iopub_data_rate_limit=1000000000']