计算从列表中获取特定列的行的平均值并将平均值列添加到 pyspark dataframe

[英]Calculating mean of rows taking specific columns from a list and adding the mean column to pyspark dataframe

我有一个 pyspark dataframe，列为“A”、“B”和“C”、“D”。 我想添加一个具有行平均值的列。 但条件是需要计算平均值的列名（在行级别）应该取自列表 l=["A","C"]。 该列表的原因是列名称和编号可能会有所不同，因此我需要它是灵活的。 例如。 对于 cols l=["A" ...

如何查看 Spark DataFrame 的区别？

[英]How to check Spark DataFrame difference?

我需要检查我的解决方案的幂等性，并检查它与过去的解决方案有多少不同。 接下来我尝试了： 它告诉我这个表有多少不同（t1 - 我的解决方案，t2 - 原始数据）。 如果这里有很多不同的数据，我想检查它在哪里不同。 所以，我试过了： 这对我不好，因为它工作了大约 1-2 小时（两个表都有 30 列和 ...

在 Flink 中使用 RichMap 比如 Scala MapPartition

[英]Use RichMap in Flink like Scala MapPartition

在 Spark 中，我们有 MapPartition function，它用于对一组条目进行一些初始化，比如一些 db 操作。 现在我想在 Flink 中做同样的事情。 经过一些研究，我发现我可以使用 RichMap 来实现相同的用途，但它有一个缺点，即该操作只能在流式作业开始时的 open 方法 ...

从字典中添加 RDD Python 中的 NumpyArray 值

[英]Adding NumpyArray Values in RDD Python from Dictionary

如何分别在 RDD 中添加字典中的值？ 我有以下内容： 我希望最终的 output 成为 numpy 数组中的以下内容： 如何在 numpy 数组中添加这个 output？ ...

如何在 Pyspark 中添加类似类型的列？

[英]How to do similar type of columns addition in Pyspark?

我想添加类似类型的列（总列数超过 100），如下所示： ID b c d b_apac c_apac d_apac A B C D 3个 5个 null 45 9 1个 bcd 13 15 1个 45 2个 10 光盘 32 null 6个 45 90后 1个 ...

使用 PySpark 将健康 (0) 重新标记为失败 (1) 示例

[英]Re-label healthy (0) as failure (1) examples using PySpark

我想在失败列中所有序列号的实际失败前 2 天将健康示例 (0) 重新标记为失败 (1)。 这是我的代码： 我想将标记为 0 的红色重新标记为 1。此外，序列号 C 错误地出现在数据库中，即使在实际发生故障后也是如此。 ...

列值总是被截断

[英]column values are always truncated

我目前正在做一个小项目，我从 kafka 主题中获取 stream 机器数据（JSON 格式）以供进一步分析。 列值中的 JSON 应拆分为多个列及其相应的值。 现在我总是遇到无法在列值中看到所有数据的问题，视图似乎总是被截断。 读取 stream： 结果： Dataframe 和 base64 编 ...

DOCKER：Pyspark 从 Postgresql 读取不显示数据

[英]DOCKER: Pyspark reading from Postgresql doesn't show data

我正在尝试从 postgresql 数据库中的表中读取数据并继续进行 ETL 项目。 我有一个使用这个 docker-compose 的 Docker 环境： 我已成功连接到数据库，但无法打印任何数据。 这是我的代码： 使用.toPandas()它给了我这个错误： 没有.toPandas()它打印列 ...

使用 Delta Lake 运行 Spark 时如何修复 org.apache.spark.sql.internal.SQLConf$.PARQUET_FIELD_ID_READ_ENABLED()？

[英]How to fix org.apache.spark.sql.internal.SQLConf$.PARQUET_FIELD_ID_READ_ENABLED() when running Spark with Delta Lake?

我正在按照这里关于如何使用 spark 访问 Delta Lake house 的教程进行操作，但似乎无法正常工作。 我有以下依赖项： 我的代码是：package org.example; import org.apache.spark.sql.SparkSession; import org.a ...

联合循环 Pyspark

[英]Union in loop Pyspark

我有两个数据框 我只想将特定语言行从 sdf2 添加到第一个 dataframe。我用一个循环来完成： 但它只附加 langs 中最后一种语言的行 ...

为什么如果关闭 dag，SparkSubmitOperator 会在启动后 5 分钟自行终止？

[英]Why if dag is turned off, then SparkSubmitOperator kills itself 5 minutes after startup?

我用 SparkSubmitOperator 提出了 dag。 我打开它以便它创建一个任务。 然后将其关闭，这样它就不会创建新的。 之后，我开始运行任务。 启动后 5 分钟，他总是给自己发送一个带有日志的 SIGTERM： 重现了这个错误，试了5次以上。 但后来我打开了 dag，启动了它，它成功了 ...

将 Spark 结构化流与 StreamingKMeans 结合使用

[英]Use Spark structured streaming with StreamingKMeans

我想要使用 Spark 对流式数据集进行聚类。 我首先尝试使用 Kmeans，但它在调用 fit 方法时抛出运行时异常，表示它不能与流数据一起使用： 然后我尝试使用 StreamingKmeans，但它接缝这个 model 仅适用于 Spark 中的旧流媒体并接受 DStream。 有谁知道这个问题 ...

无法将临时视图与 spark 中的数据库相关联 session

[英]Can't associate temp view with database in spark session

我正在尝试使用 spark 从 csv 文件创建临时视图。 要重现我的生产场景，我需要在本地测试我的脚本，但在生产中我使用的是 Glue Jobs (AWS)，其中有数据库和表。 在下面的代码中，我在我的 spark session 中创建了一个数据库并使用它，之后，我创建了一个临时视图。 但是， ...

Pyspark - 如何在 pyspark 中转换格式为 /Date(1593786688000+0200)/ 的日期/时间戳？

[英]Pyspark - How do I convert date/timestamp of format like /Date(1593786688000+0200)/ in pyspark?

我有一个 dataframe 和 CreateDate 列，格式如下： 我想将该格式转换为日期/时间戳，因此例外的 output 将是： 我在 SQL 中有这个查询，它给出了所需的 output 并且可以帮助开发： 谁能帮我实现这个目标？ 谢谢！ ...

如何使用 SparkListener 回调函数？

[英]How can one use SparkListener callback functions?

如何使用 SparkListener 回调函数？ 我们只能用它来记录信息吗？ 有什么办法可以在Spark应用代码中积累sparkListener.onTaskEnd信息供分析？ 例如..sparkSession.sparkContext.addListener(new SomeListener) ...

如何使用其他记录的值在 PySpark DataFrame 的列中填写 Null 值？

[英]How to fill in Null values in a column of a PySpark DataFrame using value from other records?

我有一个 PySpark DataFrame，列为“国家”和“大陆”。 在一些记录中，缺少“Continent”的值。 但是，有些记录包含同一国家/地区的“大陆”（下面示例数据集中的“意大利”和“中国”示例）。# Prepare Data data = [ (1, "Italy", "Eu ...

从 Oracle 数据库获取数据时，PySpark 引发错误 (ORA-00933)

[英]PySpark is raising error (ORA-00933) when fetching data from Oracle Database

语境我正在使用 Databricks 连接到 Oracle 数据库并每天获取数据。 我们在 PySpark 中使用以下示例代码来验证和访问数据库： 然后我们使用以下命令通过 SQL 代码访问信息： 问题今天我们意识到这种方法会引发如下错误： SQLSyntaxErrorException: OR ...

Pyspark - 将结构为 arrays 的列扩展到新列中

[英]Pyspark - Expand column with struct of arrays into new columns

我有一个 DataFrame，它有一个单列，它是一个结构类型并包含一个数组。 我正在尝试将 CustomFields 数组列转换为 3 个三列： 国家; 是外部的； 服务。 因此，例如，我有这些值： 并且除该行之外的最终 dataframe output 将是： 谁能帮我实现这个目标？ 谢谢！ ...

Spark Dataframe 列名更改不反映

[英]Spark Dataframe column name change does not reflect

我正在尝试重命名我的 spark dataframe 中的一些特殊字符。出于某种奇怪的原因，它在我打印模式时显示更新的列名，但任何访问数据的尝试都会导致错误，并抱怨旧的列名。 这是我正在尝试的： 我尝试了其他选项来重命名该列（使用别名等...），但它们都返回相同的错误。 它几乎就像显示操作正在使用架 ...

pyspark 多级嵌套结构增加一列

[英]Add a column to multilevel nested structure in pyspark

我有一个 pyspark dataframe 结构如下。 当前架构： 我想将名字和姓氏添加到 Information.Name 有没有办法在 pyspark 中添加新列以便多级结构类型？ 预期架构： ...