堆栈内存溢出
cost 114 ms
从 python 编写一个与 SQL/Impala 兼容的镶木地板文件

[英]Writing a parquet file from python that is compatible for SQL/Impala

我正在尝试将 pandas Dataframe 写入与 Impala 中的表兼容的镶木地板文件，但我正在努力寻找解决方案。 我的 df 有 3 列 当我将它创建到镶木地板文件中并将其加载到 impala 中时，python 模式被保留并且它失败了。 我希望镶木地板使用以下模式保存： 我试过这个： 但 ...

我想在 pyspark 中复制 sql OUTER APPLY

[英]I want to replicate sql OUTER APPLY functinally in pyspark

我想在 pyspark 中复制什么“OUTER APPLY”function。 这是我的示例数据框 我尝试创建一个临时表并使用 spark SQL 命令进行查询，就像我们通常在临时表上所做的那样......但我不断得到 `[PARSE_SYNTAX_ERROR] 'OUTER'处或附近的语法错误（ ...

处理 pySpark 中非常小的 static 表

[英]Dealing with very small static tables in pySpark

我目前正在使用 Databricks 处理来自我们的 Azure 数据湖的数据。 大部分数据被读入 pySpark 数据帧，并且是相对较大的数据集。 但是，我必须对较小的 static 表执行一些连接以获取其他属性。 目前，我能做到这一点的唯一方法是将那些较小的 static 表也转换为 pySpa ...

将 python pandas 迭代器和字符串连接转换为 pyspark

[英]Convert python pandas iterator and string concat into pyspark

我正在尝试将进程从 Pandas 移动到 Pyspark，但我是后者的新手。 注意：这是一个 EDA 过程，所以我现在不太担心将它作为一个循环，我可以在以后优化它。 设置： 虚拟数据： ID 名称 ID_01 杰克 ID_02 约翰 ID_02 约翰 ID_03 詹姆士 ID_03 杰米 Pan ...

没有密钥的循环重新分区如何导致数据倾斜？

[英]How round-robin repartition without key might cause data skew?

好像我错过了一些关于火花repartition的东西。 AFAIK，您可以使用键重新分区： df.repartition("key") ，在这种情况下，spark 将使用 hash 分区方法。 并且您可以通过仅设置分区号来重新分区： df.repartition(10) ，其中 spark 将使 ...

将 JSON 列表的列转换为 DataFrame

[英]Convert a column of JSON list to a DataFrame

我正在从 jdbc 加载一个文件，该文件的格式为 JSON object： 它的数据类型设置为 json (postgresql)，但是当加载到 spark 中时，它会加载换行符和制表符： 我尝试使用以下模式，结果为 null（我想那是因为我必须遍历列表，但我不确定该怎么做）：schema = ...

如何 foreach 我的 RDD/DataFrame 并在驱动程序中创建一个字典？

[英]How to foreach my RDD/DataFrame and create a dict in the driver?

我想收集从不同分区的 rdd/dataframe 到 globle dict 的所有关系。 但它不起作用。 键的数量太多，无法使用“reducebyKey”。 现在我试试这个。 但是我找不到关于如何将两个collections.defaultdict(list)添加为一个collections.d ...

Pyspark：删除/删除有条件的行

[英]Pyspark : Deleting/Removing rows with conditions

我有一个 dataframe 看起来像这样 我正在尝试删除基于以下条件的行，即那些具有 label 作为“DELETE”的行也具有具有相同 ID 的“INSERT”label 必须被删除所以结果会是这样的： 尝试在 pyspark 中使用过滤器之类的东西 但不确定如何设置更多条件。 不想使用 pan ...

如何在spark中获取两个最接近的值 scala DataFrame

[英]How to get the two nearest values in spark scala DataFrame

大家好我是 Spark scala 的新手。我想使用 spark scala 通过分区找到最接近的值。我的输入是这样的： 例如第一行：值 1 在 value2 列中介于 2 和 7 之间 我的 output 应该是这样的： 有人可以指导我如何解决这个问题。 ...

Pyspark dataframe 中连续列中最长的连续 1

[英]Longest consecutive 1 from consecutive colums in Pyspark dataframe

假设我有一个 Py spark 数据框，如下所示： 在这里，最长的连续 1 的长度是 3。我有一个 1M 行的大数据集。 对于每一行，我想这样计算。 所以，我最初的想法是制作一个新列，将列的每个值连接起来。 所以，我遵循这种方式。 首先，我将所有列值连接到一个新值： 我得到了这样的 datafra ...

如何在数据框列中读取 JSON

[英]How to read JSON in data frame column

我正在阅读 HDFS 目录val schema = spark.read.schema(schema).json("/HDFS path").schema val df= spark.read.schema(schema).json ("/HDFS path") 这里仅从 JSON 文件中选择 ...

将几列的值替换为其他中的值映射 dataframe PySpark

[英]Replace values of several columns with values mapping in other dataframe PySpark

我需要用另一个 dataframe（映射）的值替换 dataframe 的几个列的值（比示例中的多很多，所以我想避免进行多个左连接）。 例子： df1 EXAM ID 问题1 问题2 问题3 1个 12 12 5个 2个 12 13 6个 3个 3个 7 5个 df2 VOTE MA ...

Filter rows conditionally in PySpark：Aggregate/Window/Generate expressions are not valid in where clause of the query

[英]Filter rows conditionally in PySpark: Aggregate/Window/Generate expressions are not valid in where clause of the query

我在 PySpark 中有以下 dataframe： 打印出来的 output： 我只需要 select 行： 在“start_timespamp”和“end_timestamp”中有 null 个值，或者具有最接近“开始时间戳”列值的“时间戳”。 对于上面的例子，预期的结果是这样的： 这是我当前 ...

避免重复列条件

[英]avoid repeating column condition

假设我有以下 df - 我想根据学生列中的值创建很多列。 我确定我在这个数据框上可能只有 2 个值。 例子： 我可以在不一直重复f.when(f.col("student") == "amit"或一起创建这些列的情况下做得更干净吗？任何建议都是好的。 ...

不支持的编码：使用 Kusto Spark 连接器或使用 Spark 版本 < 3.3.0 的 Kusto 导出从 Kusto 读取时的 DELTA_BYTE_ARRAY

[英]Unsupported encoding: DELTA_BYTE_ARRAY when reading from Kusto using Kusto Spark connector or using Kusto export with Spark version < 3.3.0

自上周以来，我们在使用 Kusto Spark 连接器“分布式”模式从 Kusto 读取时开始收到java.lang.UnsupportedOperationException: Unsupported encoding: DELTA_BYTE_ARRAY （尝试使用 export 命令并使用 p ...

从 Apache Hudi 表中删除记录，这是使用 AWS Glue Job 和 Kinesis 创建的 Glue 表的一部分

[英]Deleting records from Apache Hudi Table which is part of Glue Tables created using AWS Glue Job and Kinesis

我目前配置了一个 DynamoDB stream，它在插入/更新发生时将流输入到 Kinesis 数据流中，随后我有 Glue 表，它从上面的 kinesis stream 获取输入，然后显示结构模式，还有一个 Glue 脚本帮助我创建一个可以使用 Athena 访问的 Hudi 表。 我目前能够 ...

如何使用 Spark 连接操作将两个 dataframe 组合成一个新的？

[英]How can I use Spark join operations to combine two dataframe into getting a new one?

这是我的两个输入 PySpark DataFrames 数据框1 数据框2 问题：如何将两者结合起来以获得第三个 DataFrame。我了解如何使用附加/联合来完成此操作，但有没有办法使用连接来完成此操作？ 或者有一种方法可以更有效地做到这一点？ 我需要在两张大桌子上做这件事。 预计DataFra ...


排序:
质量:
 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM