![](/img/trans.png)
[英]Invalid maximum heap size: -Xmx4g The specified size exceeds the maximum representable size
[英]spark-submit error: Invalid maximum heap size: -Xmx4g --jars, but enough of memory on the system
我正在运行一个火花作业:
spark-submit --master spark://ai-grisnodedev1:7077 --verbose --conf spark.driver.port=40065 --driver-memory 4g
--jars /opt/seqr/.conda/envs/py37/lib/python3.7/site-packages/hail/hail-all-spark.jar
--conf spark.driver.extraClassPath=/opt/seqr/.conda/envs/py37/lib/python3.7/site-packages/hail/hail-all-spark.jar
--conf spark.executor.extraClassPath=./hail-all-spark.jar ./hail_scripts/v02/convert_vcf_to_hail.py ./hgmd_pro_2019.4_hg38.vcf -ht
--genome-version 38 --output ./hgmd_pro_2019.4_hg38.ht
该命令给出了一个错误:
无效的最大堆大小:-Xmx4g --jars 错误:无法创建 Java 虚拟机。 错误:发生了致命异常。 程序将会退出。
我检查了内存:
所以,好像没问题。 我检查了java
:
(py37) -bash-4.2$ java -version
openjdk version "1.8.0_232"
OpenJDK Runtime Environment (build 1.8.0_232-b09)
OpenJDK 64-Bit Server VM (build 25.232-b09, mixed mode)
然后我在Chrome
检查了spark
是否在ai-grisnodedev1:7077
运行,并且它与一名工人一起运行。 如果我使用ipython
我可以在https://hail.is/docs/0.2/getting_started.html运行简单的install
示例:
import hail as hl
mt = hl.balding_nichols_model(n_populations=3, n_samples=50, n_variants=100)
mt.count()
因此,依赖Spark
Hail
也能正常工作。 也许我的命令格式不正确或某些文件已损坏?s 但是该错误非常具有误导性。 我能做些什么来尝试调试这个问题?
刚刚发布了问题并立即修复了它,尽管非常绝望。 问题是我在几个编辑器中复制粘贴命令并返回,并且在--driver-memory 4g
之后可能存在一些错误的字符。 我刚刚删除了空格(可能不是空格)并重新插入它们,然后它开始工作了。 很难说为什么,也许tab
或newline
以某种方式搞砸了。 我正在使用Microsoft One Note
- 也许它正在对空格进行一些修改...
我也有这个问题。 无论如何,我使用的是pySpark
。 对我来说,这个问题是spark.executor.memory
接受如16gb
,而spark.driver.memory
只接受16g
- >以g B中的b导致错误(有点不直观,说实话)。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.