使用自定义模式读取 JSON - pyspark

[英]reading JSON with custom schema - pyspark

使用自定义模式读取 JSON 时，它会给出所有NULL值。 我知道原因（因为实际数据类型与自定义模式类型不匹配）但我不知道如何修复它（除了with open方法读取它）。 我想让你 spark 阅读而不是 JSON 模块。 JSON 原结构： ...

无法在我的 windows 上为您的平台加载本机 hadoop 库

[英]Unable to load native-hadoop library for your platform on my windows

我在我的 windows 上安装了 java 64 位，我创建了虚拟文本文件来测试我的 pycharm 上的火花。 后来，它给我回了这样的信息。 当我在网上搜索这个问题时，所有状态都是由于错误安装了 32 位 java。但是，确实安装了 64 位 java，任何人都可以帮助解决我的问题 ...

替换为pyspark中的withColumn

[英]Replace with withColumn in pyspark

你能帮我理解以下错误信息及其背后的原因吗： 创建一个虚拟数据集： 现在，我尝试通过以下方式替换“b”列中的 NaN： df_.select("b").replace({float("nan"):5}).b运行得很好，并给出了具有预期值的适当列。 但是上面的代码不起作用，我无法理解错误我得到的错误 ...

如果核心数量多于 Kafka 分区数量，Spark 结构化流式传输是否会受益于动态分配？

[英]Will Spark structured streaming benefit from dynamic allocation if number of cores more than number of Kafka partitions?

假设我们有一个从 X 分区主题读取的应用程序，对数据进行一些过滤，然后使用结构化流查询将其保存到存储中（没有复杂的混洗逻辑，只是一些简单的转换）。 该应用程序是否会受益于动态分配功能，即在数据激增的情况下添加超过 X 个单核执行程序？ 我问这个，因为我主要使用 DStreams，其中有一个众所周知 ...

如何从 pyspark 行访问 integer 命名属性？

[英]How to access integer named attribute from pyspark row?

对于定义为 object 的行 我可以访问a的值作为r.a或r['a'] 但是两者都不能用于访问键的值 3. 如果 Row 属性由 integer 命名，我如何访问它的值？ ...

Pyspark运行在docker容器无法写文件

[英]Pyspark running in docker container cannot write file

我有一个运行 PySpark、hadoop 和所有必需依赖项的 docker 容器。 我正在使用 spark-submit 查询 minio，我想将 output dataframe 写入文件。 读取文件有效，但写入无效。 如果我在该容器中执行 python 并尝试在同一路径创建文件，它就可以工作。 ...

pyspark 中字符串数组的最大值

[英]Max value from array of string in pyspark

我对 spark 很陌生，试图从字符串数组中找到最大值但出现错误。 尝试了一些事情，例如创建数据框/拆分/使用 lit 但面临更多错误。 谁能帮帮我吗。 错误： 非常感谢提前 ...

如果 spark Java 中的 dataframe 中不存在列，则抛出 AnalysisException

[英]If a column doesn't exist in dataframe in spark Java throws AnalysisException

我有一个dataframe ，它是从这样的json文件中读取的。 所以一些分解的列id没有放置键在它抛出异常 我的checkHasKey function： 您如何处理此类异常？ 如果密钥可用，则保留密钥的值，如果不可用，则保留空字符串。 ...

循环遍历 RDD 元素，读取其内容以进行进一步处理

[英]Loop through RDD elements, read its content for further processing

我有一个包含n个文件的文件夹。 我正在创建一个 RDD，其中包含上述文件夹的所有文件名，代码如下： 我想遍历这些RDD元素并处理以下步骤： 读取每个元素的内容（每个元素都是一个文件路径，所以需要通过SparkContext读取内容） 以上内容应该是另一个 RDD，我想将其作为参数传递给 Functi ...

在 Spark 中查找所有持久化数据帧的列表

[英]Find the list of all persisted dataframes in Spark

我有一个类似于下面的长火花代码，其中有很多关键字： 我想找出所有已保留的数据帧并将它们存储在列表中。 Output： 我们该如何进行呢？ ...

用双斜杠替换单斜杠

[英]Replace single slash with double slash

我有以下 Apache Spark Dataframe df_result其中有一列Name 。 在此列中，值如下所示。 在第二行，有一个\字符。 当我使用上面的脚本将其导出到 csv 时，它会在文件中生成Mathew\M的值。 理想情况下，我需要文件中的Mathew\\M值（即单个\应替换为\\ ...

提取结构失败：构建状态：错误 - spark scala

[英]Extracting structure failed: Build status: Error - spark scala

安装了 intellij 社区版 2022.3.1。 尝试编译一个简单的 scala spark 程序并出现“提取结构失败：构建状态：错误”错误。 下面是我的build.sbt 非常感谢任何帮助。 ...

Apache Spark：spark 执行器 pod 无法从注册表/存储库中提取 docker 图像

[英]Apache Spark : spark executor pod isn't able to pull docker image from a registry/repo

我是 Apache Spark 的新手。 我正在尝试使用pyspark 运行火花 session 。 我已经为它配置了 2 个执行器节点。 现在，两个执行程序节点都需要拉取存储库中我自定义构建的 spark 映像。 下面是 python 中我的 spark 会话/工作的配置 sparkpi-tes ...

Pyspark dataframe 在列中乘以模式

[英]Pyspark dataframe multiply patern in column

我有一个 PySpark Dataframe，我想更新或创建一个基于模式的列。 我的目标是替换Initial dataframe的 col2 或创建新列，该列将包含前 2 行作为模式 (2.54, 3.21)，它将复制到 col2 的其他行，例如下面的目标 dataframe 。 首字母 dataf ...

使用 sparklyr 分组并连接字符串

[英]group by and concatenate string using sparklyr

有许多问题问的是完全相同的事情，但在 sparklyr 环境的背景下没有一个问题。 如何按列分组，然后将其他列的值连接成列表？ 例如，以下结果会在本地 R 环境中产生所需的 output。 但是将同一个表注册到 spark 并使用相同的代码错误（sql 解析错误，可能它试图在 mutate 上应用 ...

使用 python 模块 function 和 spark dataframe

[英]Use python module function with spark dataframe

我想使用我安装的外部 python 模块中的 function 在 pyspark dataframe 中创建一个新列。 例如，我想使用模块publicsuffix2 get_tld它使用公共后缀列表从域中提取公共后缀。 我当前的解决方案使用 udf： 我的问题是： 没有udf有没有办法做到这一点 ...

Scala spark dataframe map 按键排序

[英]Scala spark dataframe map sorting as per key

此代码在 spark >3 中运行良好。 我想运行 spark<3。 ...

Delta 表中的架构更改 - 如何在不覆盖的情况下从表架构中删除分区？

[英]Schema change in Delta table - How to remove a partition from the table schema without overwriting?

给定一个 Delta 表：CREATE TABLE IF NOT EXISTS mytable ( ... ) USING DELTA PARTITIONED BY part_a, part_b, part_c LOCATION '/some/path/' 该表已经有大量数据。 但是，所需的架 ...

删除 pyspark 中除数字以外的所有字符

[英]remove all characters apart from number in pyspark

我有一个名为 cola 的列，它具有字符串数据类型示例“100.z”或“102c” 如何去掉数字以外的所有字母或任何字符，使可乐变成“100”或“102” ...

如何更改 spark 的 schima dataframe

[英]How to change the schima of the spark dataframe

我正在使用spark.read.json读取一个 JSON 文件，它会自动给我 dataframe 模式，但是是否可以使用以下模式更改现有 Dataframe 的模式？ ...