spark.read.json() 加载数据需要很长时间

[英]spark.read.json() taking extremely long to load data

我试过的我有来自 API 的 JSON 数据。我将所有数据保存到一个目录中。 现在我正在尝试将此数据加载到 spark dataframe 中，以便我可以对其进行 ETL。 API 返回了碎片数据（每个分区）。 此外，有些部门的数据很少，有些部门的数据很多。 我尝试从中加载数据的目录如下所示： 我 ...

如何将字符串转换为数据块中各种长度的日期？

[英]How to convert string to date of various length in databricks?

我有一个不同长度的字符串，例如11/8/16和1/27/16 。 格式是Month/Day/Year ，如何将它们转换为日期？ 我尝试了 MM、mm、DD 等的各种组合，但无法正常工作。 ...

Apache Spark：引用和转换结构数组中的字段

[英]Apache Spark : Reference and transform a field within an array of struct

假设我们有以下数据集： 我只想将字段y.c转换为Timestamp 。 这是我想要获得的模式： 到目前为止，这是我尝试过的：df.withColumn( "y", transform( col("y"), elem => elem.withField( "c ...

spark 中的 ROW_NUMBER() OVER (ORDER BY RAND()) 会为我提供每行的随机行号吗？

[英]Will `ROW_NUMBER() OVER (ORDER BY RAND())` in spark provide me a random row number for each row?

我需要从 spark tempView 中获取随机样本，下面是否会为 spark sql 临时视图中的每一行提供一个随机行号？ 然后如果我想要一个 1000 行的随机样本，我会 谢谢！ ...

df.schema 不返回 dataframe 模式的完整 StructType

[英]df.schema doesn't return complete StructType of dataframe schema

我有一个带有复杂嵌套列的 dataframe。 我想将所有 integer 类型转换为双精度类型，使用下面的 scala 代码： 当我运行这段代码时，它抛出一个错误： 我认为是因为 part type:string,... 2 more fields导致了问题。 我在许多数据帧上运行了这段代码，它 ...

Spark SQL 中的 inline() 与 inline_outer()，内置函数

[英]inline() vs inline_outer() in Spark SQL, Built-in Functions

我在Spark SQL, Built-in Functions中找到了inline()和inline_outer() 。这两个函数的官方例子是一样的。 我分不清它们之间的区别。 这就是为什么我真的很困惑我应该选择哪一个。 我可以在任何情况下同时使用它们吗？ 先感谢您。 ...

根据Spark中的空行拆分文本文件

[英]Splitting a text file based on empty lines in Spark

我正在处理一个非常大的文件，它是一个几乎 2GB 的非常大的文本文档。 像这样的东西 - 我想在 spark 中读取它们并根据 spark 中的空块拆分它们并在 PySpark 中创建这些数据的块。 #*Entity-relationship diagrams which are in BCNF # ...

将深度嵌套的字段向上移动一层 pyspark dataframe

[英]Move deeply nested fields one level up in pyspark dataframe

我有一个从 XML 创建的 pyspark dataframe。由于 XML 的结构方式，我在 dataframe 的架构中有一个额外的、不必要的嵌套级别。 我当前的 dataframe 的架构： 我正在尝试用下面的电影数组替换电影结构，如下所示： 我得到的最接近的是使用：from pyspark ...

如何识别此 Pyspark 编码问题 - 输入时没有可行的替代方案

[英]How to Identify This Pyspark Coding Issue - No viable alternative at input

尝试在 Azure Synapse pyspark 中运行以下代码并收到解析错误，Synapse 似乎不接受双括号，有人知道如何解决吗？def curated_abc_report(entity_name): sqlstr ="WITH Participant_Name \ AS ( ...

PySpark：自上次 True 以来的时间

[英]PySpark: Time since previous True

我有一个 Spark dataframe，像这样： 我想创建一个新列，其中包含自signal列上次为真以来的时间 任何想法如何处理这个？ 我的直觉是以某种方式使用window和filter来实现这一点，但我不确定 ...

在 Pyspark 中用 NULL 替换所有列中所有带有转义字符的字符串

[英]Replace all strings with escape characters across all columns with NULLs in Pyspark

我有一个大约有 100 列的火花 dataframe。 NULL 个实例当前记录为 \N。 我想用 NULL 替换 \N 的所有实例，但是因为反斜杠是转义字符，所以我遇到了困难。 我发现这篇文章对单个列使用正则表达式，但是，我需要遍历所有列我什至在单个专栏上尝试了文章中的解决方案，但是，我仍然无法 ...

Pyspark 从带填充的行创建滑动 windows

[英]Pyspark create sliding windows from rows with padding

我正在尝试将行组收集到表示为向量的滑动 windows 中。 给定示例输入： 预期的 output 将是： 我最近的尝试产生了没有填充的翻滚 windows。 这是我的代码： 我试着寻找它的变体，也许通过执行 SQL 查询，就像在这种情况下，或者使用一些内置的 SQL function 例如ROW ...

如何使用 Spark SQL 查询反转数组中的元素？

[英]How to reverse an elements in the array using Spark SQL query?

我有如下数据 输入数据 关键数据 a [5,2,6,null,null] b [5,7,9,4,null,null,null] 我希望 output 如下所示。 Output：关键数据a [6,2,5,null,null] b [4,9,7,5,null,null,null] 基本上数组中的元素 ...

比较 pyspark 中列的结构字段中的两个值

[英]Comparing two values in a structfield of a column in pyspark

我有 Column，其中每一行都是一个 StructField。 我想在 StructField 中获得最多两个值。 我试过这个trends_df = trends_df.withColumn("importance_score", max(col("avg_total")["max"]["agg_ ...

增量表中的自动递增列，无需重新加密

[英]Auto increment column in delta table without rekey

到目前为止，我有一个暗淡的增量表，我正在使用 row_number() + max(dim_id) 计算 dim_id。 暗号 | 用户身份 1001 | 1个 1002| 3个 1003 | 5个 1004 | 9 例如，如果我删除了 1004 id，然后插入一个新的 user_id，如 ...

如何在 Spark Scala 中将列数据类型转换为字符串？

[英]How do I convert a Column DataType to String in Spark Scala?

我正在尝试调用 from_json 方法并希望动态获取 JSON 的模式。 问题在于 third.withColumn 行，因为它似乎不喜欢 Seq[Column]。 错误：值 toDS 不是 Seq[org.apache.spark.sql.Column].withColumn("key", f ...

如何用pyspark dataframe在cosmos中正确插入数据？

[英]How to correctly insert data in cosmos with pyspark dataframe?

我正在尝试将 dataframe pyspark 插入cosmosdb ... .com/Azure/azure-cosmosdb-spark/blob/2.4/README.md然后我像这样配置我的 sparkSession： 但是当我尝试用我的配置在 cosmos 中写入时，我得到一个“jav ...

Select 零售中特定类别的唯一客户 ID，并丢弃 rest

[英]Select unique customer IDs for specific category in retail and discard the rest

我目前正在尝试获取仅从特定类别购买的独特客户，例如， 在上图中我可以看到所有购买 softline 的客户，客户 1 和 3 是其他类别，包括 softline，但我想要 select 那些只购买了 softline 而没有其他类别的客户，从上图中我只想要客户2 和 4 而不是 1 和 3。 我 ...

pyspark parquet writer保存的文件数

[英]Number of files saved by parquet writer in pyspark

pyspark 镶木地板写入生成多少个文件？ 我读到 output 是 memory 分区中的一个文件。 然而，这似乎并不总是正确的。 我正在运行一个 6 执行器集群，每个执行器有 6G 执行器 memory。 所有 rest（pyspark、overhead、offheap）都是 2G 使用以下 ...

在where条件下使用表时会跳过Spark分区过滤器，为什么？

[英]Spark partition filter is skipped when table is used in where condition, why?

也许有人观察到这种行为并且知道为什么 Spark 采用这种方式。 我只想从分区表中读取几个分区。 结果（部分）物理计划： 它非常快，~1s，在执行计划中我看到它使用那些提供的数据集作为分区过滤器的 arguments。 如果我尝试以单列表的形式提供过滤谓词，它会进行全表扫描，并且需要 100 倍的 ...