标签[apache-spark] 第6页 - 堆栈内存溢出

[英]Efficient way to get the first item satisfying a condition

使用 pySpark，我想从满足条件的列中获取第一个元素。我希望此操作高效，以便在第一次满足条件时返回元素。目前，我正在尝试这花费了很多时间，我认为某些原因导致扫描整个数据或读取整个数据。但是，我认为应该在读取数据时下推过滤器，并且在 seller_id 为 6 的第一刻它应该返回该值。 ...

在文件的列中标记错误记录，最终值为 dataframe

[英]Mark records with error in a column for the file with a constant value for final dataframe

我有一个用例，如果至少有一条记录在特定文件的err列中具有值err_present ，我想将同一文件的记录 rest 标记为 dataframe 中的bad_file值。输入 Dataframe err_present上面有f1 file_name 列的 err_present。所以我想在最 ...

Spark Scala：使用另一个 dataframe 使用 function 构建新列

[英]Spark Scala: build a new column using a function using another dataframe

这是我的问题：我有第一个 dataframe，它基本上是一个城市列表，以及他们居住的国家/地区。我有第二个 dataframe，其中包含用户列表以及他们居住的城市。我想添加一个“国家”列到第二个 dataframe，它的值当然基于“城市”列，但我可以输入不同的城市名称（例如华盛顿和华盛顿都必须给我 ...

在我的案例中，我应该使用哪个 PySpark 广播 function？（pyspark.sql.functions.broadcast 与 SparkContext.broadcast）

[英]Which PySpark broadcast function should I use in my case? (pyspark.sql.functions.broadcast vs SparkContext.broadcast)

在我的例子中，我有一个小的 DataFrame small_df和一个大的 DataFrame big_df ，我想在它们之间执行连接 - 为了使过程更有效率，我想广播small_df但我看到有两个选项 - 正确的做法是什么？它们之间有什么区别？另外，如果我理解正确的话，为了使用sc.broa ...

Spark 输入分区数与读取任务数

[英]Spark number of input partitions vs number of reading tasks

有人可以向我解释一下 Spark 在读取数据时如何确定任务数吗？它与输入文件的分区数和核心数有什么关系？我有一个数据集 (91MB)，分为 14 个分区（每个分区约 6.5MB）。我做了2个测试：测试 1 - 我使用 2 个执行程序加载了这个数据集，每个执行程序有 2 个核心测试 2 - 我 ...

Pyspark：多个主题的Kafka消费者

[英]Pyspark : Kafka consumer for multiple topics

我有一个主题列表（目前是 10 个），其大小将来会增加。我知道我们可以产生多个线程（每个主题）来从每个主题中消费，但在我的情况下，如果主题数量增加，那么从主题中消费的线程数量也会增加，这是我不希望的，因为主题不是过于频繁地获取数据，因此线程将处于空闲状态。有没有办法让一个消费者消费所有主题？如 ...

如何合并多个 pyspark arrays？

[英]How to coalesce multiple pyspark arrays?

我在 PySpark DataFrame 中有任意数量的 arrays 等长。我需要将这些逐个元素合并到一个列表中。 coalesce 的问题在于它不是按元素工作的，而是选择整个第一个非空数组。任何关于如何实现这一点的建议将不胜感激。请参阅下面的测试用例以获取预期输入和 output 的示例 ...

ConnectException: Connection refused (Connection refused) Error while obtaining a new communication channel。数据块笔记本中的错误

[英]ConnectException: Connection refused (Connection refused) Error while obtaining a new communication channel. error in databricks notebook

在 python 数据块笔记本中运行 python 代码（ML 模型）时，我遇到以下错误消息 ConnectException: Connection refused (Connection refused) 获取新的通信通道时出错 ConnectException 错误：这通常是由 OOM 错误引 ...

具有动态类型/结构列的 Spark 数据集

[英]Spark Dataset with dynamically typed/struct column

我有一个带有已知列的火花数据集，因此可以将其“转换”为案例 class 的数据集。例如case class Record(id: string, occurredAt: Long, jsonBody: String) 我知道创建一个新列，它是已解析的 json 正文，它是基于给定模式动态键入的。 ...

当使用 SPARK 读取视图时，在 HUDI 表上创建 Athena 视图会返回软删除记录

[英]Creating an Athena view on a HUDI table returns soft deleted records when the view is read using SPARK

我有多个具有不同列名的 HUDI 表，我在其上构建了一个视图以标准化列名。从 Athena 读取此视图时，它会返回正确的响应。但是，当使用 SPARK 使用 spark.read.parquet("<>") 读取相同的视图时，它也会返回软删除的记录。我知道需要使用 spark.re ...

在字符串数据类型 pyspark 上进一步展开

[英]further expldoe on string datatype pyspark

我有 df，其中有名为数据的列。在数据列中，我们可以预期每个identifier_filed列或列表值的单个值。这显示为数据列下方的[ ]括号。例如，在values列下的Allegren可以有不同的data类型，但是这个特定的identifie_field只有一个值，而其他identifie_ ...

过滤器中的 Spark NullPointerException 嵌套字段访问

[英]Spark NullPointerException nested field access in filter

我是火花的新手。我今天在.filter(_.getStatusStandardizedData.getIsActive.getValue)行得到了NullpointerExceptionval activeStzOrganizations: Dataset[OrganizationStandard ...

如何批处理 spark dataframe 的列，使用 REST API 处理并将其添加回去？

[英]How to batch columns of spark dataframe, process with REST API and add it back?

我在 spark 中有一个 dataframe，我需要使用 REST API 处理该 dataframe 中的特定列。API 对字符串进行一些转换并返回结果字符串。 API 一次可以处理多个字符串。我可以遍历 dataframe 的列，批量收集该列的 n 个值并调用 api 然后将其添加回 d ...

如何根据特定条件过滤掉dataframe？

[英]How to filter out a dataframe based on specific condition?

场景：如果一个数字有两条记录，一条是del，一条是undel reason，那么只会选择del。如果一个数字只有一条记录有 undel 或 del 那么它也会被选中。示例：我有一个 dataframe，其中包含 2 列，如下所示：数字原因 1234 德尔 1234 取消 4567 德尔 67 ...

如何在创建带有引号的表时从 Spark 连接器读取 Snowflake 表？

[英]How to read Snowflake table from Spark connector when the table was created with quotes around it?

我知道如何使用如下所示的 Spark 连接器从 Snowflake 表中读取数据：这工作得很好。但是，如果表是在 Snowflake 中用引号引起来的，例如CREATE TABLE DB1.SCHEMA1."MY.TABLE2" ，则 spark 无法对其进行格式化。我试过但它invali ...

如果仅重复使用两次，是否需要缓存数据集？

[英]Do I need to cache a Dataset if it is reused only twice?

我正在使用 Apache Spark，我有以下代码：Dataset<Row> tradesDataset = sparkSession .sql("select * from a_table") .cache(); // <-- do I nee ...

使用 pyspark 从 Kafka Topic 读取 Json 消息

[英]Read Json message from Kafka Topic using pyspark

我正在尝试使用自定义模式使用火花流从 kafka 主题读取一条 json 消息，当我仅将 Cast 值用作字符串时，我可以看到数据即将到来。但是当我使用模式时它不起作用。数据是这样的：我将架构用作：我正在使用 function： output 仍然是 null。 ...

Databricks - 更改 hive 表中的复杂数据类型

[英]Databricks - alter complex data type in hive table

我有一个增量表，它在 Databricks 中按以下结构分区我正在尝试在 Group.Computer 下添加一个新的结构字段。预期架构：我正在尝试使用下面的 alter 命令来做到这一点但是我收到如下错误：如何更改数据块中现有表的复杂数据类型？ ...

在不使用 case when 的情况下收集 Spark 中的列名

[英]Collect Column names in Spark without using case when

我有一个带有以下列的 dataframe（A、A_1、B、B_1、C、C_1、D、D_1、E、E_1）。例如，如果 A = A_1 and B <> B_1 and C <> C_1 and D <> D_1 and E <> E_1 那么我想创建一 ...

使用 saveAsTable 创建的表与使用 spark.sql("CREATE TABLE....) 创建的表的行为不同

[英]Table created with saveAsTable behaves differently than a table created with spark.sql("CREATE TABLE....)

我定期运行的进程将数据写入镶木地板文件上的表，配置为"spark.sql.sources.partitionOverwriteMode" = "dynamic" ，代码如下：如果该表不存在并且是在第一个子句中创建的，它可以正常工作，并且在下一次运行时表确实存在并且 else 子句运行时它按预期工作 ...