使用自定义Hadoop输入格式在Spark中处理二进制文件

Question

我已经开发了一种基于hadoop的解决方案，可以处理二进制文件。 这使用经典的hadoop MR技术。 二进制文件约为10GB，分为73个HDFS块，并且作为映射过程编写的业务逻辑在这73个块中的每个块上进行操作。 我们在Hadoop中开发了customInputFormat和CustomRecordReader，可将键（intWritable）和值（BytesWritable）返回给map函数。 该值不过是HDFS块（bianry数据）的内容。 业务逻辑知道如何读取此数据。

现在，我想将此代码移植到spark中。 我是Spark的入门者，可以在Spark中运行简单的示例（wordcount，pi示例）。 但是，不能直接使用示例来处理spark中的binaryFiles。 我看到此用例有两种解决方案。 首先，避免使用自定义输入格式和记录读取器。 在spark中找到一种方法（方法），为这些HDFS块创建一个RDD，使用类似Map的方法将HDFS块内容馈送到业务逻辑。 如果这不可能，我想使用某些方法（例如HadoopAPI，HadoopRDD等）重用自定义输入格式和自定义阅读器。我的问题：-我不知道第一种方法是否可行。 如果可能，任何人都可以提供一些包含示例的指针吗？ 我正在尝试第二种方法，但是非常失败。 这是我使用的代码片段

package org {  
object Driver {      
  def myFunc(key : IntWritable, content : BytesWritable):Int = {      
    println(key.get())
    println(content.getSize())
    return 1       
  }    
  def main(args: Array[String]) {       
    // create a spark context
    val conf = new SparkConf().setAppName("Dummy").setMaster("spark://<host>:7077")
    val sc = new SparkContext(conf)    
    println(sc)   
    val rd = sc.newAPIHadoopFile("hdfs:///user/hadoop/myBin.dat", classOf[RandomAccessInputFormat], classOf[IntWritable], classOf[BytesWritable])  
    val count = rd.map (x => myFunc(x._1, x._2)).reduce(_+_)
    println("The count is *****************************"+count)
  }
} 

}

请注意，main方法中的打印语句将打印73，这是块数，而map函数内部的打印语句将打印0。

有人可以告诉我我在哪里做错了吗？ 我认为我没有正确使用API​​，但是找不到一些文档/用法示例。

Answer 1

一目了然的几个问题。 您定义myFunc但调用func 。 您的myFunc没有返回类型，因此您不能调用collect() 。 如果myFunc确实没有返回值，则可以执行foreach而不是map 。

collect()将RDD中的数据拉到驱动程序，以允许您在本地（在驱动程序上）对其进行处理。

Answer 2

我在这个问题上取得了一些进展。 我现在正在使用以下功能

var hRDD = new NewHadoopRDD(sc, classOf[RandomAccessInputFormat], 
        classOf[IntWritable], 
        classOf[BytesWritable],
        job.getConfiguration() 
        )    

val count = hRDD.mapPartitionsWithInputSplit{ (split, iter) => myfuncPart(split, iter)}.collect()

但是，出现了另一个错误，我在这里发布了其详细信息， 在星图功能内访问HDFS文件时出现问题

15/10/30 11:11:39 WARN scheduler.TaskSetManager: Lost task 0.0 in stage 0.0 (TID 0, 40.221.94.235): java.io.IOException: No FileSystem for scheme: spark
at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2584)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2591)
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:91)
at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2630)