[英]Giraph Job running in local mode always
我在Hadoop 2.6.0上运行了Giraph 1.1.0。 mapredsite.xml看起来像这样
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<description>The runtime framework for executing MapReduce jobs. Can be one of
local, classic or yarn.</description>
</property>
<property>
<name>mapreduce.map.memory.mb</name>
<value>4096</value>
<name>mapreduce.reduce.memory.mb</name>
<value>8192</value>
</property>
<property>
<name>mapreduce.map.java.opts</name>
<value>-Xmx3072m</value>
<name>mapreduce.reduce.java.opts</name>
<value>-Xmx6144m</value>
</property>
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>4</value>
</property>
<property>
<name>mapred.map.tasks</name>
<value>4</value>
</property>
</configuration>
giraph-site.xml看起来像这样
<configuration>
<property>
<name>giraph.SplitMasterWorker</name>
<value>true</value>
</property>
<property>
<name>giraph.logLevel</name>
<value>error</value>
</property>
</configuration>
我不想在本地模式下运行作业。 我还将环境变量MAPRED_HOME设置为HADOOP_HOME。 这是运行程序的命令。
hadoop jar myjar.jar hu.elte.inf.mbalassi.msc.giraph.betweenness.BetweennessComputation /user/$USER/inputbc/inputgraph.txt /user/$USER/outputBC 1.0 1
当我运行此代码以计算图形中顶点的居中性时,出现以下异常
Exception in thread "main" java.lang.IllegalArgumentException: checkLocalJobRunnerConfiguration: When using LocalJobRunner, you cannot run in split master / worker mode since there is only 1 task at a time!
at org.apache.giraph.job.GiraphJob.checkLocalJobRunnerConfiguration(GiraphJob.java:168)
at org.apache.giraph.job.GiraphJob.run(GiraphJob.java:236)
at hu.elte.inf.mbalassi.msc.giraph.betweenness.BetweennessComputation.runMain(BetweennessComputation.java:214)
at hu.elte.inf.mbalassi.msc.giraph.betweenness.BetweennessComputation.main(BetweennessComputation.java:218)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:497)
at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
我应该怎么做才能确保作业不在本地模式下运行?
几天前我就遇到了这个问题。幸运的是,我做到了。
修改配置文件mapred-site.xml,确保属性“ mapreduce.framework.name”的值为“ yarn”,并添加属性“ mapreduce.jobtracker.address”(如果没有,则为“ yarn”)。
mapred-site.xml如下所示:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobtracker.address</name>
<value>yarn</value>
</property>
</configuration>
修改mapred-site.xml后重新启动hadoop,然后运行程序并将'-w'之后的值设置为大于1并将'giraph.SplitMasterWorker'的值设置为'true'。 。
至于问题的原因,我只引用有人的话:这些属性是为单节点执行设计的,在节点集群中执行操作时必须更改它们。 在这种情况下,作业跟踪程序必须指向将要执行NodeManager守护程序(Hadoop从站)的机器之一。 至于框架,应将其更改为“ yarn”。
我们可以看到在LocalJobRunner
配置检查失败的堆栈跟踪中,这有点令人误解,因为它使我们假设我们在本地模型中运行。您已经找到了负责任的配置选项: giraph.SplitMasterWorker
但在您的情况下,您进行了设置这是true
。 但是,在最后一个参数为1
的命令行上,您指定仅使用单个工作程序。 因此,框架决定您必须在本地模式下运行。 作为解决方案,您有两种选择:
giraph.SplitMasterWorker
设置为false
尽管您正在集群上运行。 通过将最后一个参数更改为命令行调用来增加工作程序的数量。
hadoop jar myjar.jar hu.elte.inf.mbalassi.msc.giraph.betweenness.BetweennessComputation /user/$USER/inputbc/inputgraph.txt / user / $ USER / outputBC 1.0 4
另请参阅我在SO(Apache Giraph主/工作模式)上的其他答案,以获取有关本地模式问题的详细信息。
如果要从节点拆分主服务器,则可以使用:
-ca giraph.SplitMasterWorker = true
还指定您可以使用的工人数量:
-w#
其中“#”是您要使用的工作人员数量。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.