Spark: Union 只能在具有兼容列类型的表上执行。 结构体<name,id> != 结构<id,name></id,name></name,id>
[英]Spark : Union can only be performed on tables with the compatible column types. Struct<name,id> != Struct<id,name>
错误：联合只能在具有兼容列类型的表上执行。 struct(tier:string,skyward_number:string,skyward_points:string) <> struct(skyward_number:string,tier:string,skyward_point ...
Visual Studio Code 中的 Spark PySpark 配置
[英]Spark PySpark Configuration in Visual Studio Code
我尝试在 Visual Studio Code 中配置 Apache Spark PySpark。 我在 VScode 上安装“Spark & Hive Tools”扩展包并添加Python > Auto Complete: Extra Paths on settings.json 文 ...
在 spark 应用程序中跟踪多个 spark 会话
[英]Tracing multiple spark sessions in spark application
我有一个 java 申请。 在 java 应用程序中，我有 spark 上下文。 在 spark 上下文中，我通过执行 sparkSession.newSession() 创建了多个 spark session。 在任何给定的时间点，都会有 4-5 个会话在运行。 将有多个 sql 查询和连接发生在 ...
如何向现有增量表添加新分区？
[英]How to add new partition to existing delta table?
我正在尝试修改现有增量表的分区。 我知道如何使用数据帧 API 来做到这一点。我需要使用 SPRAK SQL 来实现类似的事情。有人帮我吗？ 当我尝试在命令下运行时 我遇到错误 是否可以在 SPARK SQL 中做同样的事情？ ...
不允许在 Microsoft Fabric 中使用 Apache Spark 为 fabric_lakehouse 创建数据库
[英]Create database for fabric_lakehouse is not permitted using Apache Spark in Microsoft Fabric
我遵循了Apache Spark 中的使用增量表的说明但是当我尝试将表格保存到 lakehouse 时，我收到了以下消息。 尝试读取 fact_sale 表时，在遵循“Lakehouse 教程介绍”时收到类似的错误消息。 我错过了一些权限设置吗？ Create database for fabric ...
PySpark 记录？
[英]PySpark Logging?
我想要我写在 Python 的 Spark 驱动程序，到 output 一些基本的日志记录信息。 我可以通过三种方式做到这一点： 使用 PySpark py4j 桥访问 Java log4j Spark 使用的日志记录工具。 log4jLogger = sc._jvm.org.apache.log ...
Spark CVS 加载 - 自定义架构 - 自定义 object
[英]Spark CVS load - custom schema - custom object
我的 CVS 是这样的—— 我正在日志中打印我的模式 -（你看，列现在被翻转或排序 - 啊！） 我遇到错误 这就是我的Tranaction的样子。 问题 - 为什么 Spark 无法匹配我的模式？ 顺序乱了在我的 CSV 中，我传递了 transactionid、accountId，但 spark ...
从包含 6 M 记录的 mongo 导入的 pyspark dataframe 有两条记录为字符串 ('Error...' ) 和 rest 是 structytpe。 无法写入 s3
[英]pyspark dataframe imported from mongo containing 6 M records has two records as string ('Error...' ) and the rest are of structytpe. cant write to s3
赏金将在 5 天后到期。 此问题的答案有资格获得+50声望赏金。 Kunal想让更多人关注这个问题。 我必须使用 AWS Glue 从 mongodb 导入数据。 我在胶水动态框架中导入数据并成功地将胶水 df 转换为 spark df。 有一个结构数据类型的字段，它在以 json object ...
PicklingError：无法序列化 object：IndexError：元组索引超出范围
[英]PicklingError: Could not serialize object: IndexError: tuple index out of range
我在 cmd 中启动了 pyspark 并执行了以下操作以提高我的技能。 当我执行 a.take(1) 时，出现“_pickle.PicklingError：无法序列化 object：IndexError：元组索引超出范围”错误，我无法找到原因。 在 google colab 上运行时，它不会抛出任 ...
Hive 表未在 Spark 中显示 session
[英]Hive tables not showing in Spark session
如果我在 R 中运行DBI::dbGetQuery(sc, "SHOW DATABASES") ，结果我只得到default数据库。 而不是从hive>命令行创建的 hive 表的完整列表... 同样在 R 项目目录中，get 创建了一个 derby.log 和 metastore_db 文 ...
ARRAY_AGG function 在 Spark SQL 中不起作用
[英]ARRAY_AGG function does not work in Spark SQL
我试图在 Spark SQL 中使用 ARRAY_AGG function。当我使用它时，它会抛出错误 <<未定义 function：'array_agg'。 这个 function 既不是注册的临时 function 也不是数据库中注册的永久 function 'default> ...
左和右 function 在 PySpark SQL
[英]LEFT and RIGHT function in PySpark SQL
我是 PySpark 的新手。我使用 pandas 提取了一个 csv 文件。并使用 registerTempTable function 创建了一个临时表。 现在我尝试使用 right(phone_number,4) 使用电话号码的权利来拉最后四个字符并面临后续错误 为什么 pyspark 不支 ...
如何使用 Spark Session 列出 S3 存储桶中的文件？
[英]How to list files in S3 bucket using Spark Session?
是否可以使用 SparkSession object 列出给定 S3 路径（例如：s3://my-bucket/my-folder/*.extension）中的所有文件？ ...
无法识别的 Hadoop 主要版本号
[英]Unrecognized Hadoop major version number
我正在尝试在 Windows 10 上初始化一个 Apache Spark 实例以运行本地测试。 我的问题是在 Spark 实例初始化期间，我收到一条错误消息。 这段代码以前对我有用过很多次，所以我猜依赖项或配置中可能发生了一些变化。 我正在使用 JDK 版本 1.8.0_192 运行，Hadoop ...
检查spark中Dataframes中的匹配数据
[英]Check matching data in Dataframes in spark
如果按照我的方式生成的两个 RDD 包含相同的数据（包括行数），我该如何匹配？ 我正在使用 scala 测试来运行测试并使用 scala 2.12.12 启动版本 3 在创建我的两个 rdd 模式的代码下方，包括预期的一个和创建所有 3 个 rdd 数据。 assertData function ...
运行 Spark 时遇到“WARN ProcfsMetricsGetter: Exception when trying to compute pagesize”错误
[英]Encountering " WARN ProcfsMetricsGetter: Exception when trying to compute pagesize" error when running Spark
我安装了 spark 并在尝试运行它时出现错误：WARN ProcfsMetricsGetter：尝试计算页面大小时出现异常，因为 ProcessTree 指标的报告已停止有人可以帮我吗？ ...
如何查找pyspark dataframe memory的用法？
[英]How to find pyspark dataframe memory usage?
对于python dataframe，info() function提供了memory的用法。 pyspark 有等价物吗？ 谢谢 ...
如何更改现有 dataframe 的模式
[英]How to change the schema of existing dataframe
问题陈述：我有一个 csv 文件，其中包含大约 100 多个字段。我需要对这些字段执行转换并生成新的 80 多个字段，并仅将这些新字段以 parquet 格式写入 s3。 parquet 预定义架构 = 80+ 新填充的字段 + 一些未填充的字段。 有什么方法可以在将数据写入 s3 时传递此预定义 ...
从 Pyspark Dataframe 中删除与 header 匹配的行
[英]Delete rows from Pyspark Dataframe which match to header
我有一个巨大的 dataframe 类似于： 它有与 header 匹配的行，我想删除所有行，这样结果将是： 我试图用.distinct()方法摆脱它们，但总是留下一个。 我该怎么做？ ...
Spark 日期时间列中的多种格式
[英]Multiple formats in Date Time column in Spark
我正在使用 Spark3.0.1 我有以下数据 csv： 348702330256514,37495066290,9084849,33946,614677375609919,11-02-2018 0:00:00,GENUINE 348702330256514,37495066290,330148, ...