簡體 English 中英

由於內存不足，取消了snappydata作業

[英]snappydata job cancelled due to low memory

原文 2018-10-09 16:50:23 7 1 apache-spark/ snappydata

由於成員'{1}'上的內存不足，我取消了XCL54.T查詢/ DML / DDL'{0}'。 嘗試通過向where子句添加更多過濾條件來減少搜索空間。 通過將tempview數據框與分區的，基於列的snappydata表聯接在一起，在Zeppelin中創建數據框時出現查詢錯誤。

此鏈接建議配置表以驅逐行，作為對此錯誤消息的故障排除措施，但是在此說，表默認情況下被驅逐到磁盤，這意味着表數據溢出到本地SnappyStore磁盤存儲。 所以我不確定我缺少什么。

我正在使用社區版本，這可能是由於“付費”版本所獨有的堆外管理嗎？

關於如何解決此問題的任何建議？

1 個解決方案

可能是您的spark操作也占用了大量內存。 您執行了什么觸發了此異常？

如何提交python SnappyData作業

[英]How to submit a python SnappyData job

SnappyData：將獨立 Spark 作業連接到嵌入式集群

[英]SnappyData: Connect Standalone Spark Job to Embedded Cluster

由於內存不足，Spark作業失敗

[英]Spark job fails due to out of memory

SnappyData-snappy-job-無法運行jar文件

[英]SnappyData - snappy-job - cannot run jar file

作業取消，因為 SparkContext 已關閉

[英]Job cancelled because SparkContext was shut down

作業 65 取消，因為 SparkContext 已關閉

[英]Job 65 cancelled because SparkContext was shut down

由於 SparkContext 已關閉，Stage 被取消，Collect 在 ... s 中失敗

[英]Collect failed in ... s due to Stage cancelled because SparkContext was shut down

運行spark作業時CPU使用率低

[英]Low cpu usage while running a spark job

Memory 使用優化：高 JVM memory 但低執行和存儲 ZCD69B4957F0196CD818DZBF?3EDD6

[英]Memory usage optimization: High JVM memory but low execution and storage memory?

由於 DeadlineExceededException，Spark 作業無法寫入 Alluxio

[英]Spark job failed to write to Alluxio due to DeadlineExceededException

暫無

暫無

聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

相關問題 如何提交python SnappyData作業 SnappyData：將獨立 Spark 作業連接到嵌入式集群由於內存不足，Spark作業失敗 SnappyData-snappy-job-無法運行jar文件作業取消，因為 SparkContext 已關閉作業 65 取消，因為 SparkContext 已關閉由於 SparkContext 已關閉，Stage 被取消，Collect 在 ... s 中失敗運行spark作業時CPU使用率低 Memory 使用優化：高 JVM memory 但低執行和存儲 ZCD69B4957F0196CD818DZBF?3EDD6 由於 DeadlineExceededException，Spark 作業無法寫入 Alluxio

相關標簽

粵ICP備18138465號 © 2020-2024 STACKOOM.COM