如何将 JSON object 的列表转换为 PySpark DataFrame？

[英]How to convert list of JSON object to PySpark DataFrame?

我想将变量中的 JSON 字符串转换为 Databricks 上的 PySpark DataFrame。 我有一个来自 API 的有效负载。它是 JSON 个对象的列表，保存在一个名为response_list的变量上。 变量是 JSON object 类型为class 'str'> ：[{ ...

是否可以从 Java 代码管理或调用 Databricks 集群的作业？

[英]Is it possible to manage or call jobs of a Databricks cluster from Java Code?

我使用 jdbc 字符串连接在 Java 简单代码中成功连接。 我只想知道是否可以从 Java 代码调用 Azure Databricks 集群的作业以及如何调用？ 似乎唯一可能做的事情是使用这种连接调用 SQL 语句，但不调用数据块集群。 有任何想法吗？ 预先感谢 ...

R 当字符在字符串中出现多次时，使用二进制文本值列表 output

[英]R Using a list of text value output in binary when character appears more than once in a string

在 Databricks 中使用 R。 我有以下可能的文本条目示例列表。 我想检查其中任何一个是否在字符串中多次出现（如下例）并在新列中返回二进制 output。 此示例的 output 将为 1。 我尝试了以下但只取得了部分成功： 也试过 并且 ...

Databricks SQL 编辑器“初始化配置失败”

[英]Databricks SQL Editor "Failure to initialize configuration"

当我尝试 select SQL 编辑器中的一个特定表中的内容时，我收到错误“无法初始化配置”。 查询很简单，如select * from table_name 。 还尝试了限制和/或选择特定列，但得到了同样的错误。 如果我切换到“数据科学与工程”并使用笔记本中的常规集群执行相同的查询，一切正常。 ...

py4j.Py4JException：方法集（[class java.lang.String，class java.util.ArrayList]）在Databricks中不存在

[英]py4j.Py4JException: Method set([class java.lang.String, class java.util.ArrayList]) does not exist in Databricks

我正在尝试使用 Databricks 访问远程 S3 存储桶。 据我了解，这就是我的代码应该是什么样子， 尝试设置 Spark 配置时，我似乎遇到了以下错误， 我究竟做错了什么？ ...

Databricks repos 笔记本被误删除（未提交，未版本化），是否可以恢复？

[英]Databricks repos notebook deleted by mistake (not commited, not versioned), is posible to restore it?

在任何提交之前，我不小心从我的数据块存储库中删除了一个笔记本，我希望从垃圾文件夹中恢复它，但笔记本不在那里。 是否可以从服务器上的任何目录或类似目录中恢复？ ...

Databricks cli - 用于复制文件的 dbfs 命令

[英]Databricks cli - dbfs commands to copy files

我正在致力于Purview ADB Lineage Solution Accelerator的部署。 在“ 在您的 Databricks 集群上安装 OpenLineage”部分的第 3 步中，作者要求在powershell中运行以下命令以使用Databricks CLI将init脚本和jar上传到 ...

使用来自 spark 的 jdbc 驱动程序查询 ibm db2 时，如何设置“仅用于获取”？

[英]How do I set "for fetch only" when querying ibm db2 using the jdbc driver from spark?

我有一些代码可以查询 db2 数据库，如果我不包含“仅用于获取”，该数据库可以正常工作，但如果包含，则会返回错误。 我想知道它是否已经完成，或者我如何设置它。 当我仅包含获取时出错： com.ibm.db2.jcc.am.SqlSyntaxErrorException: DB2 SQL Error ...

Databricks SQL Warehouse 报错：User is not part of org

[英]Error in Databricks SQL Warehouse: User is not part of org

今天尝试启动Databricks SQL Warehouse集群，却收到如下信息： 集群无法启动。 集群启动将停止请求创建集群失败，出现异常：PERMISSION_DENIED：用户 xxxx 不属于 org：xxxx 我相信这个错误是由于一名高级成员上周离开了我们的团队。 当他离开时，我们将他从 ...

如何在数据块中使用带分隔符的 string_split()？

[英]How to use string_split() with delimiter in databricks?

我正在尝试在数据块中使用 string_split() function 来转换为低于 dataframe。 源 dataframe 在 Databricks 中存储为 TempView： ID 价值 1个值 1、值 2、值 3 2个值-1，值-4 Output 需要： ID 价值 1个值 ...

在数据块中挂载 onedrive for business

[英]To Mount onedrive for business in databricks

我正在尝试在数据块社区版的一个驱动器业务中安装一个文件夹。 我无法使用 onedrivesdk，因为它已被弃用。 我创建了一个应用程序注册，为其分配了读写权限并使用客户端 ID 和密码。我尝试使用 api 请求进行挂载，但它没有提供访问令牌。 首先我想知道，是否可以将一个驱动器安装到 databr ...

无法在本地运行 PySpark（Kafka 到 Delta）并获取 SparkException：找不到目录“spark_catalog”的目录插件 class

[英]Unable to run PySpark (Kafka to Delta) in local and getting SparkException: Cannot find catalog plugin class for catalog 'spark_catalog'

我正在尝试编写一个 PySpark 代码来读取 Kafka 主题并发布到 Delta 表。 但它不起作用。 示例代码： 命令：星火版本：3.3.1 安慰： 在运行此代码之前，我是否需要指定目录和模式？ 这样做的最佳做法是什么？ ...

列值总是被截断

[英]column values are always truncated

我目前正在做一个小项目，我从 kafka 主题中获取 stream 机器数据（JSON 格式）以供进一步分析。 列值中的 JSON 应拆分为多个列及其相应的值。 现在我总是遇到无法在列值中看到所有数据的问题，视图似乎总是被截断。 读取 stream： 结果： Dataframe 和 base64 编 ...

Azure Databricks的Unity Catalog中的数据分类

[英]Data classification in Unity Catalog of Azure Databricks

问：Azure Databricks中的Unity Catalog是否有分类资产的功能？ 如果是这样，有人可以提供指向 Unity 目录中有关此功能的在线文档的链接吗？ 请看下面的上下文： Unity Catalog是 Lakehouse 的 Azure Databricks 数据治理解决方案。 ...

Databricks Autoloader能否跟踪文件上传时间

[英]Can Databricks Autoloader Keep Track of File Uploading Time

是否可以使用 Databricks 自动加载器跟踪 S3 文件上传时间？ 看起来 Autoloader 会为文件名和处理时间添加列，但在我们的用户案例中，我们需要知道文件上传到 S3 的顺序。 ...

Databricks 上的 DBT 工作流失败：object SeedNode 中的 AttributeError

[英]DBT workflow on Databricks fails: AttributeError in object SeedNode

今天我们在数据块中的 DBT 工作流失败了。 工作流运行如下： 任何建议可能是错误的或如何解决它？ Databricks 日志中报告的版本： 使用 dbt=1.4.1 运行错误信息如下： 'SeedNode' object 没有属性 'depends_on' 09:59:17 回溯（最近调用 ...

在使用 pandas 在 python 中执行 SQL 查询时，我遇到了错误：TypeError: __init__() got multiple values for argument 'schema'

[英]While performing SQL query in python using pandas i am facing the error : TypeError: __init__() got multiple values for argument 'schema'

在此处输入图像描述尝试在 python 中编译 sql 查询。我曾经在 python 中经常这样做。但我过去从未遇到过这个错误。 帮我解决这个问题。 询问：from pandasql import sqldf import pandas as pd from sklearn import data ...

Pyspark - 如何在 pyspark 中转换格式为 /Date(1593786688000+0200)/ 的日期/时间戳？

[英]Pyspark - How do I convert date/timestamp of format like /Date(1593786688000+0200)/ in pyspark?

我有一个 dataframe 和 CreateDate 列，格式如下： 我想将该格式转换为日期/时间戳，因此例外的 output 将是： 我在 SQL 中有这个查询，它给出了所需的 output 并且可以帮助开发： 谁能帮我实现这个目标？ 谢谢！ ...

从 Oracle 数据库获取数据时，PySpark 引发错误 (ORA-00933)

[英]PySpark is raising error (ORA-00933) when fetching data from Oracle Database

语境我正在使用 Databricks 连接到 Oracle 数据库并每天获取数据。 我们在 PySpark 中使用以下示例代码来验证和访问数据库： 然后我们使用以下命令通过 SQL 代码访问信息： 问题今天我们意识到这种方法会引发如下错误： SQLSyntaxErrorException: OR ...

Pyspark - 将结构为 arrays 的列扩展到新列中

[英]Pyspark - Expand column with struct of arrays into new columns

我有一个 DataFrame，它有一个单列，它是一个结构类型并包含一个数组。 我正在尝试将 CustomFields 数组列转换为 3 个三列： 国家; 是外部的； 服务。 因此，例如，我有这些值： 并且除该行之外的最终 dataframe output 将是： 谁能帮我实现这个目标？ 谢谢！ ...