堆栈内存溢出
cost 143 ms
pyspark anaconda 上的设置问题

[英]pyspark setup issues on anaconda

尝试学习将 pyspark 与 jupyter 笔记本一起使用。 为 pyspark 创建了一个环境并将其安装在 anaconda 中，python 版本为 3.10.8，环境中的 java 版本为： 当打开 jupyter 实验室并尝试运行我的第一个 spark session 时，我使用了： 并 ...

通过使用PySpark如何解析嵌套json

[英]By using PySpark how to parse nested json

我有一个具有以下架构的 json 文件： ` 在此模式中，使用 pyspark 我只需要提取活动 ID、活动类型、机器人 ID、频道 ID、对话 ID、关联 ID、发件人 ID、收件人 ID、状态代码、时间戳在 dataframe 中。我如何通过使用 Pyspark 来实现此目的？ JSON ...

将字符串转换为 pyspark 中的日期

[英]Convert string to date in pyspark

我在采用这种格式的字符串类型的列中有一个日期值： 2016 年 5 月 6 日 09.17.15 我想把它转换成这种格式： 20160506 我尝试使用DATE_FORMAT(TO_DATE(<column>), 'yyyyMMdd')但返回了NULL值。 有没有人知道如何 go 在 ...

如何计算 PySpark 上列的各个数组项的平均值？

[英]How to calculate average for individual array items of a column on PySpark?

我有口袋妖怪索引。 我正在尝试计算每种神奇宝贝的平均生成机会。 如草、毒、火等。 我试过了 得到了。 我无法提取个别类型。 任何见解表示赞赏。 PySpark 文档中关于分组的信息非常有限。 ...

执行错误：field item_size: ArrayType(DoubleType,true) cannot accept object array([19. , 5. , 6.5]) in type<class 'numpy.ndarray'></class>

[英]Execution error : field item_size: ArrayType(DoubleType,true) can not accept object array([19. , 5. , 6.5]) in type <class 'numpy.ndarray'>

当我尝试使用 delta.io 库在 AWS Glue 中创建 DeltaTable 时，出现此错误： 这是我的一些代码： df 包含： 我该如何解决这个问题？ ...

无法在长型列上使用间隔

[英]Not able to use interval on long type columns

我有以下数据类型的火花表 我正在尝试向我的 visit_time 列添加一个低于 sql 的间隔 sql 在计算 hit_cst 时在第 3 行失败。 如果我尝试单独运行它们，每个部分都在工作。 有人可以帮忙吗？ ...

Pyspark session 配置覆盖

[英]Pyspark session configuration overwriting

我最近遇到下面的程序，在变量中声明了新的 session 值之后，为什么要停止 spark 上下文？ 通常，spark session 会在最后停止，但在这里，为什么在新配置声明后停止？ 我想明白 ...

如何从 Databricks 中的不同笔记本获取查询

[英]How to get a query from a different notebook in Databricks

我在这里的第一篇文章:) 所以我遇到了一个问题：/ Working with Databricks (db) 我知道如何使用 %run 在 db 中执行不同的笔记本但是我有两个问题： 笔记本 1 有一个查询，笔记本 2 有一个需要该查询的 function，我如何在那边输入该查询？ 我只尝试了 %r ...

pandas 和 spark 在 python 中“内存中”处理方面的区别

[英]Difference between pandas and spark in terms of 'in-memory' processing in python

我已经了解了 spark 的内存处理，这比 pandas 有优势。但我在下面比较了 pandas 和 spark 程序，他们创建了 dataframe 并连接了两列。 在这两种情况下，spark 和 pandas 都将在“内存中”进行处理，因为数据应该在 RAM 中进行处理。那么与 pandas 相 ...

我可以在写入镶木地板时排除用于分区的列吗？

[英]Can i exclude the column used for partitioning when writing to parquet?

我需要创建 parquet 文件，从 jdbc 读取。该表很大，所有列都是 varchars。 所以我创建了一个带有随机 int 的新列来进行分区。 所以我读到的 jdbc 看起来像这样： 我写的镶木地板看起来像这样： data_df.write.mode("overwrite").parquet ...

以 parquet 格式将数据从 Teradata 加载到 S3 时的 Spark 写入速度性能测试

[英]Spark write speed performance test while loading data from Teradata to S3 in parquet format

我有一个要求，其中我需要将表从 Teradata 迁移到 DELL ECS S3，数据以 parquet 格式写入。 我得到了一个 Spark 集群，该集群具有 1GB 大小的单个工作节点和 2GB 大小的驱动程序。 我试图通过首先使用小数据集来测试我的 spark 代码的性能：能够将 0.3GB ...

Hive HQL 查询执行时间较长，对此查询的任何优化都会有所帮助

[英]Hive HQL Query takes longer time to execute, any optimization on this query will be helpful

概述我有一个大小为 80 TB 的clouddb.transaction表。 这将与input_parameters表连接，该表在任何时候都有 1 到 10 条记录。 当我运行以下 hive 查询时，它在 Spark 中执行了 23 分钟并创建了 137843 个任务。 请求论坛建议我是否可以对此查 ...

将 pyspark 个数据帧与字符串中的整个单词完全匹配，pyspark

[英]Joining pyspark dataframes on exact match of a whole word in a string, pyspark

我有两个数据框，一个有一个地址列，其中包含一整串单词、人工输入的数据和大学地址 (df)，我想从中提取城市信息。 因此，我使用另一个主城市数据（world_countries）来识别字符串中存在哪些城市，并将其用于新列中。 最初，我尝试使用 contains() 进行此连接，这给了我错误的值，因为 ...

通过循环附加 dataframe

[英]Appending the dataframe via loop

我创建了一个空的 dataframe var c= emptyDataFrame 另外，我有 200 多个列的数据集，下面是我的循环代码 t.show 给我一个包含 3 列的表格：col a: x, col b: ID_count, col c: Percentage 我想把 append 的结 ...

Lists in dataframe columns - 需要在一列中获取索引并用于从另一列列表中拉取数据

[英]Lists in dataframe columns - need to obtain an index in one column and use to to pull data from another column list

我有一个包含多个列的 dataframe。 我需要做的是匹配Name列中列表中的数据，获取索引，并使用该索引在Date列中搜索列表并获取相应的日期进行过滤。 名称日期 [n1, n2, n3] [日期 1、日期 2、日期 3] 例如，如果Name === n2 ，返回索引然后： Date[inde ...

如何使用 pyspark 只比较 2 个数据框的列名？

[英]How to compare only the column names of 2 data frames using pyspark?

我有 2 个具有匹配和不匹配列名的数据框，我想比较两个框架的列名并打印具有不匹配列名的表/数据框。 请有人帮我解决这个问题我不知道我怎样才能做到这一点下面是期待 DF1： DF2： Output： Output 应该实际与不匹配的列名称 ...


排序:
质量:
 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM