堆栈内存溢出
cost 107 ms
在 spark sql 中使用 Case 语句时出错

[英]Error while using Case statements in spark sql

我是 Spark 的初学者，正在练习。 你能帮我解决这个问题吗？ 这就像一个练习的顶点项目。 这是我必须做的查询。 如果客户不是违约者并且应用的信用额度低于在其他卡上花费的金额，则将状态应用为已批准。 如果客户违约或应用的信用额度大于在其他卡上花费的金额，则将状态应用为已拒绝。 这是 2 个数据框中 ...

AWS Glue ExecutorLostFailure（执行程序 15 因其中一项正在运行的任务而退出）原因：远程 RPC 客户端已取消关联

[英]AWS Glue ExecutorLostFailure (executor 15 exited caused by one of the running tasks) Reason: Remote RPC client disassociated

我有一个简单的粘合工作，我使用 pyspark 使用 JDBC 从 RDS 读取 1400 万行，然后尝试将其保存到 S3 中。 我可以在 Glue 中看到 Output 日志，读取和创建 dataframe 很快，但是在调用写操作时失败并出现错误： 调用 o89.save 时出错。 Job ab ...

获得满足条件的第一个项目的有效方法

[英]Efficient way to get the first item satisfying a condition

使用 pySpark，我想从满足条件的列中获取第一个元素。 我希望此操作高效，以便在第一次满足条件时返回元素。 目前，我正在尝试 这花费了很多时间，我认为某些原因导致扫描整个数据或读取整个数据。 但是，我认为应该在读取数据时下推过滤器，并且在 seller_id 为 6 的第一刻它应该返回该值。 ...

Spark Scala：使用另一个 dataframe 使用 function 构建新列

[英]Spark Scala: build a new column using a function using another dataframe

这是我的问题：我有第一个 dataframe，它基本上是一个城市列表，以及他们居住的国家/地区。我有第二个 dataframe，其中包含用户列表以及他们居住的城市。我想添加一个“国家”列到第二个 dataframe，它的值当然基于“城市”列，但我可以输入不同的城市名称（例如华盛顿和华盛顿都必须给我 ...

Spark 输入分区数与读取任务数

[英]Spark number of input partitions vs number of reading tasks

有人可以向我解释一下 Spark 在读取数据时如何确定任务数吗？ 它与输入文件的分区数和核心数有什么关系？ 我有一个数据集 (91MB)，分为 14 个分区（每个分区约 6.5MB）。 我做了2个测试： 测试 1 - 我使用 2 个执行程序加载了这个数据集，每个执行程序有 2 个核心测试 2 - 我 ...

如何批处理 spark dataframe 的列，使用 REST API 处理并将其添加回去？

[英]How to batch columns of spark dataframe, process with REST API and add it back?

我在 spark 中有一个 dataframe，我需要使用 REST API 处理该 dataframe 中的特定列。API 对字符串进行一些转换并返回结果字符串。 API 一次可以处理多个字符串。 我可以遍历 dataframe 的列，批量收集该列的 n 个值并调用 api 然后将其添加回 d ...

使用 pyspark 从 Kafka Topic 读取 Json 消息

[英]Read Json message from Kafka Topic using pyspark

我正在尝试使用自定义模式使用火花流从 kafka 主题读取一条 json 消息，当我仅将 Cast 值用作字符串时，我可以看到数据即将到来。 但是当我使用模式时它不起作用。 数据是这样的： 我将架构用作： 我正在使用 function： output 仍然是 null。 ...

Synapse Lake 数据库视图在 SQL 池中不可用？

[英]Synapse Lake database view not available in SQL Pool?

目前探索在 Synapse 中使用 Spark notebooks 进行数据转换而不是数据流，但 lake db 功能有点令人困惑。 我在 Synapse Workspace 中使用笔记本创建了一个湖数据库、一个外部表（目录？）和一个视图。 该视图在 Synapse UI 中可见，我可以查询它。 ...

使用 saveAsTable 创建的表与使用 spark.sql("CREATE TABLE....) 创建的表的行为不同

[英]Table created with saveAsTable behaves differently than a table created with spark.sql("CREATE TABLE....)

我定期运行的进程将数据写入镶木地板文件上的表，配置为"spark.sql.sources.partitionOverwriteMode" = "dynamic" ，代码如下： 如果该表不存在并且是在第一个子句中创建的，它可以正常工作，并且在下一次运行时表确实存在并且 else 子句运行时它按预期工作 ...

在 azure 突触笔记本中使用 spark.sql 提取 json 列

[英]extract json column using spark.sql in azure synapse notebook

我有一个镶木地板文件作为源，我使用 PySpark 笔记本加载了该镶木地板文件，如下所示： 这是桌子的样子 我有以下代码，但我坚持如何从上面的 SQL 表中提取 street.name & street.number，这就是我所拥有的 但是json_extract(Address,'$."s ...

替换为pyspark中的withColumn

[英]Replace with withColumn in pyspark

你能帮我理解以下错误信息及其背后的原因吗： 创建一个虚拟数据集： 现在，我尝试通过以下方式替换“b”列中的 NaN： df_.select("b").replace({float("nan"):5}).b运行得很好，并给出了具有预期值的适当列。 但是上面的代码不起作用，我无法理解错误我得到的错误 ...

循环遍历 RDD 元素，读取其内容以进行进一步处理

[英]Loop through RDD elements, read its content for further processing

我有一个包含n个文件的文件夹。 我正在创建一个 RDD，其中包含上述文件夹的所有文件名，代码如下： 我想遍历这些RDD元素并处理以下步骤： 读取每个元素的内容（每个元素都是一个文件路径，所以需要通过SparkContext读取内容） 以上内容应该是另一个 RDD，我想将其作为参数传递给 Functi ...

用双斜杠替换单斜杠

[英]Replace single slash with double slash

我有以下 Apache Spark Dataframe df_result其中有一列Name 。 在此列中，值如下所示。 在第二行，有一个\字符。 当我使用上面的脚本将其导出到 csv 时，它会在文件中生成Mathew\M的值。 理想情况下，我需要文件中的Mathew\\M值（即单个\应替换为\\ ...

Pyspark dataframe 在列中乘以模式

[英]Pyspark dataframe multiply patern in column

我有一个 PySpark Dataframe，我想更新或创建一个基于模式的列。 我的目标是替换Initial dataframe的 col2 或创建新列，该列将包含前 2 行作为模式 (2.54, 3.21)，它将复制到 col2 的其他行，例如下面的目标 dataframe 。 首字母 dataf ...

使用 python 模块 function 和 spark dataframe

[英]Use python module function with spark dataframe

我想使用我安装的外部 python 模块中的 function 在 pyspark dataframe 中创建一个新列。 例如，我想使用模块publicsuffix2 get_tld它使用公共后缀列表从域中提取公共后缀。 我当前的解决方案使用 udf： 我的问题是： 没有udf有没有办法做到这一点 ...


排序:
质量:
 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM