简体繁体 English

Spark SQL 将 Scala DataFrame 转换为列列表

[英]Spark SQL converting a scala DataFrame into a column list

原文 2017-10-05 17:12:38 6 1 scala/ apache-spark/ dataframe/ apache-spark-sql/ spark-dataframe

Is it possible to convert a spark sql Dataframe into an org.apache.spark.sql.Column containing a List?是否可以将 spark sql 数据帧转换为包含列表的 org.apache.spark.sql.Column？

Each row in the dataframe will be an element in the list.数据框中的每一行都是列表中的一个元素。

1 个解决方案

No. Since DataFrames are (weakly) typed, and there is no ListType , a Column can not wrap a List.不。由于 DataFrames 是（弱）类型的，并且没有 ListType ，因此 Column 不能包装 List。

What it can be, is an ArrayType.它可以是一个ArrayType。 That question has already been answered.这个问题已经有了答案。

在Scala中将Spark的DataFrame列转换为List [String] - Converting a Spark's DataFrame column to List[String] in Scala

使用 spark 和 scala 将具有值的 dataframe 列转换为列表 - Converting a dataframe column with values to a list using spark and scala

将Spark Scala数据框列转换为字节数组 - Converting Spark Scala Dataframe Column to Byte Array

将 Spark Dataframe 转换为 Scala Map 集合列表 - Converting a Spark Dataframe to a Scala Map collection list

Scala 将列的十六进制 substring 转换为十进制 - Dataframe org.apache.spark.sql.catalyst.parser.ParseException： - Scala Converting hexadecimal substring of column to decimal - Dataframe org.apache.spark.sql.catalyst.parser.ParseException:

将Spark数据框列的不同值转换为列表 - Converting distinct values of a Spark dataframe column into a list

在Spark-Scala中将列表或RDD的列表转换为DataFrame - Converting List of List or RDD to DataFrame in Spark-Scala

使用Spark Dataframe Scala将多个不同的列转换为Map列 - Converting multiple different columns to Map column with Spark Dataframe scala

Spark Scala-将具有一条记录和一列的Dataframe转换为Double - Spark Scala - converting Dataframe with one record and one column into Double

在scala中将Spark Dataframe转换为RDD - Converting Spark Dataframe to RDD in scala

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 在Scala中将Spark的DataFrame列转换为List [String] - Converting a Spark's DataFrame column to List[String] in Scala 使用 spark 和 scala 将具有值的 dataframe 列转换为列表 - Converting a dataframe column with values to a list using spark and scala 将Spark Scala数据框列转换为字节数组 - Converting Spark Scala Dataframe Column to Byte Array 将 Spark Dataframe 转换为 Scala Map 集合列表 - Converting a Spark Dataframe to a Scala Map collection list Scala 将列的十六进制 substring 转换为十进制 - Dataframe org.apache.spark.sql.catalyst.parser.ParseException： - Scala Converting hexadecimal substring of column to decimal - Dataframe org.apache.spark.sql.catalyst.parser.ParseException: 将Spark数据框列的不同值转换为列表 - Converting distinct values of a Spark dataframe column into a list 在Spark-Scala中将列表或RDD的列表转换为DataFrame - Converting List of List or RDD to DataFrame in Spark-Scala 使用Spark Dataframe Scala将多个不同的列转换为Map列 - Converting multiple different columns to Map column with Spark Dataframe scala Spark Scala-将具有一条记录和一列的Dataframe转换为Double - Spark Scala - converting Dataframe with one record and one column into Double 在scala中将Spark Dataframe转换为RDD - Converting Spark Dataframe to RDD in scala

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM