在Spark中將地圖轉換為mapPartitions

Question

我有一個代碼，可以使用map transformatio來分析日志文件。 然后將RDD轉換為DF 。

val logData = sc.textFile("hdfs://quickstart.cloudera:8020/user/cloudera/syslog.txt")

val logDataDF = logData.map(rec => (rec.split(" ")(0), rec.split(" ")(2), rec.split(" ")(5))).toDF("month", "date", "process")

我想知道在這種情況下是否可以使用mapPartitions代替map 。

Answer 1

我不知道您的用例是什么，但是您絕對可以使用mapPartition代替map 。 下面的代碼將返回相同的logDataDF 。

val logDataDF = logData.mapPartitions(x => {
  val lst = scala.collection.mutable.ListBuffer[(String, String, String)]()
  while (x.hasNext) {
    val rec = x.next().split(" ")
    lst += ((rec(0), rec(2), rec(5)))
  }
  lst.iterator
}).toDF("month", "date", "process")