SPARK错误：服务器IPC版本9无法与客户端版本4通信

Question

我正在使用hadoop 2.7.0版本，scala 2.10.4，java 1.7.0_21和spark 1.3.0运行

我创建了一个小文件，如下所示

 hduser@ubuntu:~$ cat /home/hduser/test_sample/sample1.txt Eid1,EName1,EDept1,100 Eid2,EName2,EDept1,102 Eid3,EName3,EDept1,101 Eid4,EName4,EDept2,110 Eid5,EName5,EDept2,121 Eid6,EName6,EDept3,99 

并在运行以下命令时得到错误。

 scala> val emp = sc.textFile("/home/hduser/test_sample/sample1.txt") emp: org.apache.spark.rdd.RDD[String] = /home/hduser/test_sample/sample1.txt MapPartitionsRDD[5] at textFile at <console>:21 scala> val dept = emp.map(_.split(",")).map(r => r(3)) dept: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[7] at map at <console>:23 scala> dept.collect().foreach(println) java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException: Server IPC version 9 cannot communicate with client version 4 

您能否建议在这种情况下我该怎么做。

Answer 1

看一下spark下载页面。 “ https://spark.apache.org/downloads.html ”。 有针对不同Hadoop版本预先构建的Spark发行版。