堆栈内存溢出
cost 221 ms
有没有办法在 Spark 中将每个分组数据集作为一个整体进行修改？

[英]Is there a way to modify each grouped dataset as a whole in Spark?

我有这个数据集，我想要一种更灵活的方式来分组和编辑分组数据。 例如，我想从此数据集中的每组名称中删除第二个 Random_Text，并连接文本的 rest： 以随机数据集为例 我想让数据集看起来像这样： 我想我需要定义某种自定义的 userdefinedaggregatefunction，但我想不 ...

从 delta lake 手动删除数据文件

[英]Manually Deleted data file from delta lake

我已经从 delta lake 中手动删除了一个数据文件，现在下面的命令出错了 错误 我试过重新启动集群但没有运气也尝试了下面的 有关修复事务日志或修复错误的任何帮助 ...

尝试在 macOS 上运行 pyspark 时如何解决“AttributeError: 'NoneType' object 没有属性 'origin'”

[英]How do I resolve "AttributeError: 'NoneType' object has no attribute 'origin'" when attempting to run pyspark on macOS

我已经使用 brew 在 macOS 上安装了 pyspark，但是当我在 zsh 中键入 pyspark 时出现错误： 我试过在 pyspark 脚本中设置路径，但后来得到了 我该如何解决这个错误？ ...

pyspark 如何将值动态传递给 countDistinct

[英]pyspark how to pass the values dynamically to countDistinct

我有一个 csv 文件，其中包含（文件名、列名、规则和规则详细信息）作为标题。 我有多个列规则规则，如 NotNull、Max、Min 等。对于“唯一”规则，可以有多个列，我需要传递这些列并执行 countDistinct。 如果我动态传递值而不是硬编码，我会遇到错误 同样，如何获取与指定日期 ...

Spark 3.2版本如何计算dataframe字节大小？

[英]How to calculate the size of dataframe in bytes in Spark 3.2 version?

我目前正在使用 spark 3.2 和我尝试使用的spark.sessionState.executePlan方法，它需要两个参数 - org.apache.spark.sql.catalyst.plans.logical.LogicalPlan ， scala.Enumeration.Value ...

在使用 pyspark 读取镶木地板的情况下提供模式有什么意义？

[英]What is the point of providing schema in case of reading a parquet using pyspark?

当我使用 CSV 时，我可以在读取文件时提供自定义模式，我获得的好处如下（以及与 parquet 案例的对比）： 不必扫描所有行来推断架构。 （Parquet：由于模式存储在单独的文件中，因此推断模式就像从该文件中读取模式一样简单） 我可以即时转换文件的架构。 例如，如果我将 integer 数 ...

如何可靠地获取delta表的分区列

[英]How to reliably obtain partition columns of delta table

我需要获取 delta 表的分区列，但是DESCRIBE delta.`my_table`的返回结果在 databricks 和本地 PyCharm 上返回不同的结果。 最小的例子： 在数据块上显示分区列： 但是当在 PyCharm 中本地运行时，我得到以下不同的 output： 解析这两种类型的返 ...

将数据保存到实木复合地板以实现夏令时的日期时间偏移问题

[英]datetime offset issue while saving data into parquet for day light saving time

来自源和目标的屏幕截图当我们使用 spark/scala 写入 parquet 文件时，DST（夏令时）时间会自动转换一个小时的延迟时间，例如（2011-09-20 00:00:00.000 到“2011- 09-19 23:00:00.000”）。 源（从中读取数据）：sql 服务器目标（写入）： ...

Pyspark - 没有名为 coverage_daemon 的模块

[英]Pyspark -No module named coverage_daemon

我正在尝试在我的import ast rddAlertsRdd = df.rdd.map(lambda message: ast.literal_eval(message['value'])) rddAlerts= rddAlertsRdd.collect()中执行这个简单的代码：错误如下： 版本 ...

如何检查位于 JDBC_SESSION_INIT_STATEMENT 中的请求是否正常工作？ 数据框阅读器

[英]How to check if a request located in JDBC_SESSION_INIT_STATEMENT is working? DataframeReader

我正在尝试使用 spark-jdbc 连接到 sql 服务器，使用 JDBC_SESSION_INIT_STATEMENT 创建一个临时表，然后在主查询中从临时表下载数据。 我有以下代码：//df is org.apache.spark.sql.DataFrameReader val s = """ ...

在 pyspark 中将字符串列拆分为多列

[英]Split string column into multiple columns in pyspark

我有一张如下表 - 该表的架构是 - 我想拆分pur_details列并将check和sale_price_gap提取为单独的列。 请注意， pur_details可能有也可能没有check和sale_price_gap ，因此如果它不存在于pur_details中，则新列值应为 null。 样本预 ...

TBLPROPERTIES中spark.sql.sources.provider的含义

[英]Meaning of spark.sql.sources.provider in TBLPROPERTIES

当我使用saveAsTable在 spark over parquet 中创建一个表，然后查看该表的TBLPROPERTIES时，我看到其中一个属性是spark.sql.sources.provider=parquet 。 我在文档或 spark 源本身的任何地方都找不到这个属性，而且我不明白它是如 ...

PySpark Docker环境下找不到数据源：kafka

[英]PySpark Failed to find data source: kafka in Docker environment

我正在使用 Docker 从 MySQL 通过 Debezium 通过 Kafka 和 Spark 收集流数据的原型。 我的 docker-compose.yml 文件链接如下： 我的 Jupyter notebook（也由同一个 docker-compose 服务）有以下 PySpark 代码， ...

在 spark sql 中使用 Case 语句时出错

[英]Error while using Case statements in spark sql

我是 Spark 的初学者，正在练习。 你能帮我解决这个问题吗？ 这就像一个练习的顶点项目。 这是我必须做的查询。 如果客户不是违约者并且应用的信用额度低于在其他卡上花费的金额，则将状态应用为已批准。 如果客户违约或应用的信用额度大于在其他卡上花费的金额，则将状态应用为已拒绝。 这是 2 个数据框中 ...

AWS Glue ExecutorLostFailure（执行程序 15 因其中一项正在运行的任务而退出）原因：远程 RPC 客户端已取消关联

[英]AWS Glue ExecutorLostFailure (executor 15 exited caused by one of the running tasks) Reason: Remote RPC client disassociated

我有一个简单的粘合工作，我使用 pyspark 使用 JDBC 从 RDS 读取 1400 万行，然后尝试将其保存到 S3 中。 我可以在 Glue 中看到 Output 日志，读取和创建 dataframe 很快，但是在调用写操作时失败并出现错误： 调用 o89.save 时出错。 Job ab ...


排序:
质量:
 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM