Spark-在Scala中根据两个数组的笛卡尔积创建数据框

Question

我有两个数组：

val customers = Array("Alice", "Bob", "Mike","Charly")
val customersLen = customers.length 
val items = Array("milk", "bread", "butter", "apples", "oranges")
val itemsLen = items.length 
val size = (customersLen*itemsLen)-1

我可以在数组中创建这两个数组的笛卡尔积，如下所示：

val cartesianProd= for(i <- 0 to size) yield (customers(i % customersLen ),items(i % itemsLen ))

输出为：

cartesianProd：scala.collection.immutable.IndexedSeq [（String，String）] = Vector（（Alice，milk），（Bob，bread），（Mike，butter），（Charly，apples），（Alice，oranges），（ Bob，milk），（Mike，bread），（Charly，butter），（Alice，apple），（Bob，oranges），（Mike，milk），（Charly，bread），（Alice，butter），（Bob，苹果），（迈克，橘子），（查理，牛奶），（爱丽丝，面包），（鲍勃，黄油），（迈克，苹果），（查理，橘子））

现在，我想从该数组生成一个数据框。 重用以前的逻辑，所以我写道：

val dfCustItem = Seq(for(i <- 0 to size ) yield(customers (i % customersLen ),items(i % itemsLen ))).toDF("customer","item")

但是我收到以下错误：

java.lang.IllegalArgumentException：要求失败：列数不匹配。 旧列名称（1）：值新列名称（2）：名称，位于org.apache.spark.sql.Dataset.toDF（Dataset.scala：397的scala.Predef $ .require（Predef.scala：224） ）在org.apache.spark.sql.DatasetHolder.toDF（DatasetHolder.scala：44）... 48被淘汰

据我了解，这是因为yield在单个名为value的列中返回对（customer，item），而toDF期望有两个独立的列（不确定这些列的名称是否相关）

我该如何解决这个问题？ 即在两个独立的列中产生循环的输出

Answer 1

您有一个额外的Seq所以只需删除它就可以了

val dfCustItem = (for(i <- 0 to size ) yield(customers (i % customersLen ),items(i % itemsLen ))).toDF("customer","item")

说明：

如您所见， for(i <- 0 to size) yield (customers(i % customersLen ),items(i % itemsLen ))已经是scala.collection.immutable.IndexedSeq[(String, String)]并添加一个Seq将生成Seq[scala.collection.immutable.IndexedSeq[(String, String)]]而您需要的是Seq Tuple2元素