繁体   English   中英

将展开内存传输到存储内存失败

Transferring unroll memory to storage memory failed

提示:本站收集StackOverFlow近2千万问答,支持中英文搜索,鼠标放在语句上弹窗显示对应的参考中文或英文, 本站还提供   中文繁体   英文版本   中英对照 版本,有任何建议请联系yoyou2525@163.com。

我得到这个 java.lang.AssertionError 与火花。 该错误并没有真正解释导致此错误的原因(至少对我而言)。 有关导致此错误的原因和解决此问题的步骤的任何帮助都会有所帮助。

在此处输入图片说明

1 个回复

Spark 必须先反序列化您的数据,然后才能被应用程序使用,这种反序列化的数据称为“展开内存”。 在您的情况下,您的执行程序可能缺乏足够的 RAM 来容纳完全反序列化的数据。 从源代码:

存储失败的原因有两个:一是块部分展开; 第二,块完全展开,实际存储的数据大小大于保留,但我们不能请求额外的内存

https://github.com/apache/spark/blob/9628aca68ba0821b8f3fa934ed4872cabb2a5d7d/core/src/main/scala/org/apache/spark/storage/memory/MemoryStore.scala#L260

2 将 ffmpeg 流式传输到存储

转码时,FFMPEG可写流不做属性转码存储 FFMPEG 允许输出和输入中的流。 当通过 gcp 存储创建可写和可读的流并将它们应用于 FFMPEG 时,输出不包含有效的 FLAC 转码。 当从文件系统上的输入应用.output时,这会在本地异步工作。 但是当应用于流时,使用 gcp 函数.. ...

4 如何使用Hibernate将数据流式传输到数据库BLOB(在byte []中没有内存存储)

我正在寻找一种方法将二进制数据流入/流出数据库。 如果可能的话,我希望用Hibernate完成(以数据库无关的方式)。 我发现的所有解决方案都涉及将二进制数据显式或隐式加载到内存中,如byte []。 我需要避免它。 假设我希望我的代码能够从数据库(存储在BLOB列中)向本地文件写入2G ...

5 内存高效地将大文件从S3传输到Google云端存储

我在下面有一些工作代码将文件从S3传输到Google云端存储(GCS)。 根据我的理解,这会在上传到GCS之前将文件下载到内存中。 我想找到一种更有效的方法(在代码中)。 我意识到谷歌有一个转移服务,有CLI选项,但那些不适合我正在做的事情。 在我的应用程序中,下面的代码驻留在小方法 ...

7 如何将数据从内存传输到PCIe卡?

我的问题是关于PCIe外围设备和系统内存之间的数据传输。 示例:假设我们需要通过以太网发送大量数据(存储在系统内存中)。 通常如何做? 以太网卡的控制器是否需要通过“总线主控”请求数据(在CPU对其进行编程之后)? 还是在CPU附近的集中式DMA控制器只是写卡的缓冲区(在CPU对其进 ...

2019-06-10 18:59:53 1 65   dma/ pci-e
8 指针未传输到分配的内存

我有一个学校作业,除了一部分,一切都很好,我无法弄清楚。 以下是发生我的问题的代码片段: 您可以忽略“ bravo”,这是我定位问题所在的位置。 我试图让环境具有新的变量列表,但是当我将其设置为等于tmp_ptr时,它为空。 我很确定这些值会被复制过来,但是我不知道出了什么问题。 ...

9 将数据从MySQL传输到SQLite失败

我想将数据库的模型以及所有包含信息的模型从MySQL传输到SQLite。 为此,我使用了mysqldump工具并生成了一个sql脚本文件。 然后,我尝试将此文件导入到我的SQLite数据库中,并遇到许多错误。 例如,似乎不支持“ KEY”,“ COMMENT”,“ LOCK TABLES ...

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2022 STACKOOM.COM