[英]JVM crash on hadoop reducer
我在hadoop上运行Java代码,但遇到此错误:
#
# A fatal error has been detected by the Java Runtime Environment:
#
# SIGSEGV (0xb) at pc=0x00007f2ffe7e1904, pid=31718, tid=139843231057664
#
# JRE version: Java(TM) SE Runtime Environment (8.0_72-b15) (build 1.8.0_72-b15)
# Java VM: Java HotSpot(TM) 64-Bit Server VM (25.72-b15 mixed mode linux-amd64 compressed oops)
# Problematic frame:
# V [libjvm.so+0x813904] PhaseIdealLoop::build_loop_late_post(Node*)+0x144
#
# Failed to write core dump. Core dumps have been disabled. To enable core dumping, try "ulimit -c unlimited" before starting Java again
#
# An error report file with more information is saved as:
# /hadoop/nm-local-dir/usercache/ihradmin/appcache/application_1479451766852_3736/container_1479451766852_3736_01_000144/hs_err_pid31718.log
#
# Compiler replay data is saved as:
# /hadoop/nm-local-dir/usercache/ihradmin/appcache/application_1479451766852_3736/container_1479451766852_3736_01_000144/replay_pid31718.log
#
# If you would like to submit a bug report, please visit:
# http://bugreport.java.com/bugreport/crash.jsp
当我转到节点管理器时,由于yarn.log-aggregation-enable is true
,因此所有日志都被汇总,并且找不到日志hs_err_pid31718.log和replay_pid31718.log。
通常,1)减速器几分钟后JVM崩溃,2)有时减速器的自动重试可以成功,3)一些减速器可以成功而不会失败。
Hadoop版本是2.6.0,Java是Java8。 这不是一个新环境,我们在集群上有很多作业正在运行。
我的问题:
在纱线聚合日志并删除文件夹之后,可以在任何地方找到hs_err_pid31718.log吗? 还是有保留所有本地日志的设置,以便在按纱线聚合日志时可以检查hs_err_pid31718.log?
缩小深潜范围的常见步骤是什么? 由于jvm崩溃,我看不到代码中的任何异常。 我已经尝试了-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp
这个args,但是在主机上没有没有通过reduce任务的堆。
感谢您的任何建议。
答案
-XX:ErrorFile=<your prefered location>/hs_err_pid<pid>.log
将hs_error文件位置设置为您首选的位置。 您正在使用JDK8更新72。请从此处升级到最新版本,以避免此崩溃。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.