如何更改 PySpark 中的 dataframe 列名？

[英]How to change dataframe column names in PySpark?

我来自 pandas 背景，习惯于将 CSV 文件中的数据读取到 dataframe 中，然后使用简单命令将列名称简单地更改为有用的名称： 但是，这在使用 sqlContext 创建的 PySpark 数据帧中不起作用。 我能想到的唯一解决方案是轻松地做到这一点： 这基本上是定义变量两次并首先推断 ...

Spark中DataFrame、Dataset、RDD的区别

[英]Difference between DataFrame, Dataset, and RDD in Spark

我只是想知道 Apache Spark 中的RDD和DataFrame （Spark 2.0.0 DataFrame 只是Dataset[Row]类型别名）之间有什么区别？ 你能把一个转换成另一个吗？ ...

如何选择每组的第一行？

[英]How to select the first row of each group?

我有一个 DataFrame 生成如下： 结果如下： +----+--------+----------+ |Hour|Category|TotalValue| +----+--------+----------+ | 0| cat26| 30.9| | 0| cat1 ...

在 pyspark dataframe 中显示不同的列值

[英]Show distinct column values in pyspark dataframe

对于 pyspark dataframe，您如何做相当于 Pandas df['col'].unique()操作。 我想列出 pyspark dataframe 列中的所有唯一值。 不是 SQL 类型的方式（registertemplate 然后 SQL 查询不同的值）。 此外，我不需要groupb ...

连接 Apache Spark DataFrame 中的列

[英]Concatenate columns in Apache Spark DataFrame

我们如何连接 Apache Spark DataFrame 中的两列？ 我们可以使用 Spark SQL 中的任何函数吗？ ...

如何更改 Spark SQL 的 DataFrame 中的列类型？

[英]How can I change column types in Spark SQL's DataFrame?

假设我正在做类似的事情： 但我真的希望year为Int （可能还转换其他一些列）。 我能想到的最好的是 这有点令人费解。 我来自 R，我习惯于能够写，例如 我可能遗漏了一些东西，因为在 Spark/Scala 中应该有更好的方法来做到这一点...... ...

如何在 Spark DataFrame 中添加常量列？

[英]How to add a constant column in a Spark DataFrame?

我想在DataFrame添加一个具有任意值的列（每行都相同）。 当我使用withColumn时出现错误，如下所示： --------------------------------------------------------------------------- AttributeError ...

使用 None 值过滤 Pyspark dataframe 列

[英]Filter Pyspark dataframe column with None value

我正在尝试过滤行值为None的 PySpark dataframe： 我可以使用字符串值正确过滤： 但这失败了： 但是每个类别肯定都有值。 这是怎么回事？ ...

如何将新列添加到 Spark DataFrame（使用 PySpark）？

[英]How do I add a new column to a Spark DataFrame (using PySpark)?

我有一个 Spark DataFrame（使用 PySpark 1.5.1）并且想添加一个新列。 我尝试了以下方法但没有成功： 使用这个也有错误： 那么如何使用 PySpark 向现有 DataFrame 添加新列（基于 Python 向量）？ ...

Spark - 将 CSV 文件加载为 DataFrame？

[英]Spark - load CSV file as DataFrame?

我想在 spark 中读取 CSV 并将其转换为 DataFrame 并使用df.registerTempTable("table_name")将其存储在 HDFS 中 我试过了： 我得到的错误： 在 Apache Spark 中将 CSV 文件加载为 DataFrame 的正确命令是什么？ ...

如何在spark中将rdd对象转换为数据帧

[英]How to convert rdd object to dataframe in spark

如何将 RDD（ org.apache.spark.rdd.RDD[org.apache.spark.sql.Row] ）转换为数据帧org.apache.spark.sql.DataFrame 。 我使用.rdd将数据帧转换为 rdd 。 处理后我希望它回到数据框中。 我怎样才能做到这一点 ？ ...

如何在 PySpark 中将数据框列从 String 类型更改为 Double 类型？

[英]How to change a dataframe column from String type to Double type in PySpark?

我有一个列为字符串的数据框。 我想在 PySpark 中将列类型更改为 Double 类型。 以下是我做的方式： 只是想知道，这是正确的方法吗，因为在运行逻辑回归时，我遇到了一些错误，所以我想知道，这是否是造成麻烦的原因。 ...

如何检查火花数据框是否为空？

[英]How to check if spark dataframe is empty?

现在，我必须使用df.count > 0来检查DataFrame是否为空。 但这有点低效。 有没有更好的方法来做到这一点？ PS：我想检查它是否为空，以便仅在不为空时保存DataFrame ...

如何定义DataFrame的分区？

[英]How to define partitioning of DataFrame?

我已经开始在 Spark 1.4.0 中使用 Spark SQL 和 DataFrames。 我想在 Scala 中的 DataFrames 上定义自定义分区器，但不知道如何执行此操作。 我正在使用的数据表之一包含一个交易列表，按帐户，类似于以下示例。 至少在最初，大多数计算将发生在帐户内的交 ...

在 PySpark 中按降序排序

[英]Sort in descending order in PySpark

我正在使用 PySpark（Python 2.7.9/Spark 1.3.1）并且有一个数据框 GroupObject，我需要按降序对其进行过滤和排序。 试图通过这段代码来实现它。 但它会引发以下错误。 ...

使用 Spark 加载 CSV 文件

[英]Load CSV file with Spark

我是 Spark 的新手，我正在尝试使用 Spark 从文件中读取 CSV 数据。 这是我在做什么： 我希望这个调用会给我一个文件的前两列的列表，但我收到了这个错误： 文件“”，第 1 行，在 IndexError 中：列表索引超出范围 虽然我的 CSV 文件不止一列。 ...

如何将PySpark中的表dataframe导出到csv？

[英]How to export a table dataframe in PySpark to csv?

我正在使用 Spark 1.3.1 (PySpark) 并且我已经使用 SQL 查询生成了一个表。 我现在有一个 object 是一个DataFrame 。 我想将这个DataFrame object（我称之为“表”）导出到一个 csv 文件，这样我就可以操作它和 plot 列。 如何将DataF ...

加入两个数据框，select 来自一个的所有列和来自另一个的一些列

[英]Join two data frames, select all columns from one and some columns from the other

假设我有一个 spark 数据框df1 ，有几列（其中列id ）和数据框df2有两列， id和other 。 有没有办法复制以下命令： 仅使用 pyspark 函数，例如join() 、 select()等？ 我必须在 function 中实现此连接，我不想被迫将 sqlContext 作为 fun ...

如何创建具有指定架构的空 DataFrame？

[英]How to create an empty DataFrame with a specified schema?

我想在 Scala 中使用指定的模式在DataFrame上创建。 我曾尝试使用 JSON 读取（我的意思是读取空文件），但我认为这不是最佳做法。 ...

spark.sql.shuffle.partitions 和 spark.default.parallelism 有什么区别？

[英]What is the difference between spark.sql.shuffle.partitions and spark.default.parallelism?

spark.sql.shuffle.partitions和spark.default.parallelism之间有什么区别？ 我尝试在SparkSQL中设置它们，但是第二阶段的任务号始终是 200。 ...