Spark: Union 只能在具有兼容列类型的表上执行。 结构体<name,id> != 结构<id,name></id,name></name,id>
[英]Spark : Union can only be performed on tables with the compatible column types. Struct<name,id> != Struct<id,name>
错误：联合只能在具有兼容列类型的表上执行。 struct(tier:string,skyward_number:string,skyward_points:string) <> struct(skyward_number:string,tier:string,skyward_point ...
在 spark 应用程序中跟踪多个 spark 会话
[英]Tracing multiple spark sessions in spark application
我有一个 java 申请。 在 java 应用程序中，我有 spark 上下文。 在 spark 上下文中，我通过执行 sparkSession.newSession() 创建了多个 spark session。 在任何给定的时间点，都会有 4-5 个会话在运行。 将有多个 sql 查询和连接发生在 ...
如何向现有增量表添加新分区？
[英]How to add new partition to existing delta table?
我正在尝试修改现有增量表的分区。 我知道如何使用数据帧 API 来做到这一点。我需要使用 SPRAK SQL 来实现类似的事情。有人帮我吗？ 当我尝试在命令下运行时 我遇到错误 是否可以在 SPARK SQL 中做同样的事情？ ...
Spark CVS 加载 - 自定义架构 - 自定义 object
[英]Spark CVS load - custom schema - custom object
我的 CVS 是这样的—— 我正在日志中打印我的模式 -（你看，列现在被翻转或排序 - 啊！） 我遇到错误 这就是我的Tranaction的样子。 问题 - 为什么 Spark 无法匹配我的模式？ 顺序乱了在我的 CSV 中，我传递了 transactionid、accountId，但 spark ...
读取多个csv文件，PySpark中每个csv文件的列数不同
[英]Read multiple csv files with different number of columns for each csv file in PySpark
赏金将在 6 天后到期。 此问题的答案有资格获得+100声望赏金。 ForestGump正在寻找此问题的最新答案。 我想使用 PySpark 读取具有不同列数的多个 csv 文件。 f1 文件有 50 列，f2 还有 10 列，总共 60 列，f3 还有 30 列，f3 文件总共有 80 列， ...
ARRAY_AGG function 在 Spark SQL 中不起作用
[英]ARRAY_AGG function does not work in Spark SQL
我试图在 Spark SQL 中使用 ARRAY_AGG function。当我使用它时，它会抛出错误 <<未定义 function：'array_agg'。 这个 function 既不是注册的临时 function 也不是数据库中注册的永久 function 'default> ...
左和右 function 在 PySpark SQL
[英]LEFT and RIGHT function in PySpark SQL
我是 PySpark 的新手。我使用 pandas 提取了一个 csv 文件。并使用 registerTempTable function 创建了一个临时表。 现在我尝试使用 right(phone_number,4) 使用电话号码的权利来拉最后四个字符并面临后续错误 为什么 pyspark 不支 ...
如何使用 Spark Session 列出 S3 存储桶中的文件？
[英]How to list files in S3 bucket using Spark Session?
是否可以使用 SparkSession object 列出给定 S3 路径（例如：s3://my-bucket/my-folder/*.extension）中的所有文件？ ...
将 SQL 模式分配给 Spark DataFrame
[英]Assign SQL schema to Spark DataFrame
我正在将我团队的遗留 Redshift SQL 代码转换为 Spark SQL 代码。 我见过的所有 Spark 示例都使用StructType和StructField以非 SQL 方式定义模式，我更愿意在 SQL 中定义模式，因为我的大多数用户知道 SQL 但不知道 Spark。 这是我现在正在 ...
从 Pyspark Dataframe 中删除与 header 匹配的行
[英]Delete rows from Pyspark Dataframe which match to header
我有一个巨大的 dataframe 类似于： 它有与 header 匹配的行，我想删除所有行，这样结果将是： 我试图用.distinct()方法摆脱它们，但总是留下一个。 我该怎么做？ ...
Pyspark - 即使在谓词被下推之后，与扫描后应用的谓词相同的过滤器
[英]Pyspark - Same filter as the predicate applied after scan even after the predicate is getting pushed down
问题：连接两个数据集时，为什么过滤器 isnotnull 在连接键列上应用了两次？ 在物理计划中，它曾经作为 PushedFilter 应用，然后在它之后显式应用。 为什么会这样？ 代码： ...
Spark 数据集中的 Kryo 编码器与 RowEncoder
[英]Kryo encoder v.s. RowEncoder in Spark Dataset
以下示例的目的是了解 Spark Dataset 中两种编码器的区别。 我可以做这个： 我也可以这样做： 代码的唯一区别是：一个使用Kryo encoder ，另一个使用RowEncoder 。 问题： 使用两者有什么区别？ 为什么一个显示编码值，另一个显示人类可读的值？ 我们什么时候应该使用哪个 ...
pyspark中的DataFilter是什么？
[英]What is DataFilter in pyspark?
我在查询执行计划中看到名为DataFilter的东西： 有一个分区过滤器：[] 推送过滤器：[IsNotNull(product_id)] 数据过滤器：[isnotnull(product_id#12)] 我了解PartitionFilter和PushedFilter 。 但是，这里显示的Data ...
在同一列中用另一组基于其他列组的组覆盖一组值
[英]Overwriting group of values with in same column another set of group based on other column group
输入： 下面的查询在 sql 服务器中工作，由于相关的子查询在 spark sql 中不起作用。是否有 spark sql 或 pyspark dataframe 的替代方案。 SELECT Name,groupid,IsProcessed,ngid, CASE WHEN WHEN IS NULL ...
AWS Glue ExecutorLostFailure（执行程序 15 因其中一项正在运行的任务而退出）原因：远程 RPC 客户端已取消关联
[英]AWS Glue ExecutorLostFailure (executor 15 exited caused by one of the running tasks) Reason: Remote RPC client disassociated
我有一个简单的粘合工作，我使用 pyspark 使用 JDBC 从 RDS 读取 1400 万行，然后尝试将其保存到 S3 中。 我可以在 Glue 中看到 Output 日志，读取和创建 dataframe 很快，但是在调用写操作时失败并出现错误： 调用 o89.save 时出错。 Job ab ...
在 pyspark 中，如何将字符串添加/连接到列？
[英]In pyspark, how do you add/concat a string to a column?
我想向现有列添加一个字符串。 例如， df['col1']的值为'1', '2', '3'等，我想在col1的左侧连接字符串'000'以便我可以获得一列（新的或替换旧的无关紧要）为'0001', '0002', '0003' 。 我想我应该使用df.withColumn('col1', '000' ...
Spark SQL 相关标量子查询只能在过滤器/聚合/项目中使用
[英]Spark SQL Correlated scalar sub-queries can only be used in a Filter/Aggregate/Project
我正在尝试在 Spark 结构化流中加入拖流数据。 数据结构如下： 表：持卡人 卡号分配时间受让人 1个 01/01/2023 01:00:00 用户 1 1个 01/01/2023 01:00:05 用户 2 1个 01/01/2023 01:00:10 用户 3 表：CardTransact ...
如何从现有 dataframe 中的列之一创建火花 dataframe
[英]How to create a spark dataframe from one of the column in the existing dataframe
要求： 我想从一列（现有的 dataframe ）中创建一个 dataframe 。 该列值是多个 json 列表。 问题： 由于 json 没有固定的架构，我无法使用from_json function，因为它在解析列之前需要架构。 例子 预计 output： 对此有什么想法吗？ ...
在 Pyspark 中过滤具有空数组的列
[英]Filtering a column with an empty array in Pyspark
我有一个 DataFrame，其中包含很多重复值。 它的聚合的、不同的计数如下所示 我的目标是过滤值为[Apples]或[]的所有行。 令人惊讶的是，以下适用于非空数组但对于空数组则不起作用import pyspark.sql.types as T is_apples = F.udf(lambda ...
使用 spark sql 写入增量表
[英]Writing to delta table using spark sql
在 python 中，我试图在 Databricks 的数据库DB中创建并写入表TBL 。 但我得到一个例外： A schema mismatch detected writing to the Delta table 。 我的代码如下，这里df是一个pandas dataframe。 代码在最后一 ...