cost 216 ms
Databricks SQL 编辑器“初始化配置失败”

[英]Databricks SQL Editor "Failure to initialize configuration"

当我尝试 select SQL 编辑器中的一个特定表中的内容时,我收到错误“无法初始化配置”。 查询很简单,如select * from table_name 。 还尝试了限制和/或选择特定列,但得到了同样的错误。 如果我切换到“数据科学与工程”并使用笔记本中的常规集群执行相同的查询,一切正常。 ...

使用 spark sql 写入增量表

[英]Writing to delta table using spark sql

在 python 中,我试图在 Databricks 的数据库DB中创建并写入表TBL 。 但我得到一个例外: A schema mismatch detected writing to the Delta table 。 我的代码如下,这里df是一个pandas dataframe。 代码在最后一 ...

py4j.Py4JException:方法集([class java.lang.String,class java.util.ArrayList])在Databricks中不存在

[英]py4j.Py4JException: Method set([class java.lang.String, class java.util.ArrayList]) does not exist in Databricks

我正在尝试使用 Databricks 访问远程 S3 存储桶。 据我了解,这就是我的代码应该是什么样子, 尝试设置 Spark 配置时,我似乎遇到了以下错误, 我究竟做错了什么? ...

如果我们禁用 keyvault 的公共访问,如何访问 Azure 数据工厂

[英]How to Access Azure Data Factory if we disable public access for keyvault

那么,如果我们禁用 keyvault 的公共访问,我们如何获取 Azure 数据工厂、逻辑应用程序、Azure Synapse 和 Azure DataBricks 的秘密或密钥。 我通过使用出站 IP 地址找到了 AppServices 和 FunctionApps 的解决方案,如果我们禁用 ke ...

列出通过 Databricks 中的 Azure VM 托管标识创建的作业运行

[英]List job runs created through Azure VM managed identity in Databricks

我们是否有 python 中的解决方案来列出使用 Azure Databricks 中的 Azure VM 托管身份创建的作业运行。 感谢帮助! 在 python 中使用托管身份库时出现 http 403 错误from azure.identity import ManagedIdentityCre ...

Databricks SQL Warehouse 报错:User is not part of org

[英]Error in Databricks SQL Warehouse: User is not part of org

今天尝试启动Databricks SQL Warehouse集群,却收到如下信息: 集群无法启动。 集群启动将停止请求创建集群失败,出现异常:PERMISSION_DENIED:用户 xxxx 不属于 org:xxxx 我相信这个错误是由于一名高级成员上周离开了我们的团队。 当他离开时,我们将他从 ...

df to table 抛出错误 TypeError: __init__() got multiple values for argument 'schema'

[英]df to table throw error TypeError: __init__() got multiple values for argument 'schema'

我在 pandas 中有 dataframe:- purchase_df。 我想把它转换成 sql 表,这样我就可以在 pandas 中执行 sql 查询。我试过这个方法 它抛出一个错误 我有 dataframe 名称 purchase_df,我需要对其执行 sql 查询。 我需要像这样对这个 d ...

在不创建新集群的情况下在 azure 数据块中执行 spark-submit

[英]Execute spark-submit in azure databricks without creating new cluster

所以,这是我的问题。 我有一个 pyspark 作业存储在 dbfs 中,因为由于组织策略我无法访问数据块存储库,并且由于组织策略我无法在再次创建 spark-submit 作业时创建新集群。 他们有什么办法可以执行 pyspark 作业并将参数传递给它吗? ...

Azure Databricks的Unity Catalog中的数据分类

[英]Data classification in Unity Catalog of Azure Databricks

问:Azure Databricks中的Unity Catalog是否有分类资产的功能? 如果是这样,有人可以提供指向 Unity 目录中有关此功能的在线文档的链接吗? 请看下面的上下文: Unity Catalog是 Lakehouse 的 Azure Databricks 数据治理解决方案。 ...

Databricks 上的 DBT 工作流失败:object SeedNode 中的 AttributeError

[英]DBT workflow on Databricks fails: AttributeError in object SeedNode

今天我们在数据块中的 DBT 工作流失败了。 工作流运行如下: 任何建议可能是错误的或如何解决它? Databricks 日志中报告的版本: 使用 dbt=1.4.1 运行错误信息如下: 'SeedNode' object 没有属性 'depends_on' 09:59:17 回溯(最近调用 ...

在使用 pandas 在 python 中执行 SQL 查询时,我遇到了错误:TypeError: __init__() got multiple values for argument 'schema'

[英]While performing SQL query in python using pandas i am facing the error : TypeError: __init__() got multiple values for argument 'schema'

在此处输入图像描述尝试在 python 中编译 sql 查询。我曾经在 python 中经常这样做。但我过去从未遇到过这个错误。 帮我解决这个问题。 询问:from pandasql import sqldf import pandas as pd from sklearn import data ...

Pyspark - 如何在 pyspark 中转换格式为 /Date(1593786688000+0200)/ 的日期/时间戳?

[英]Pyspark - How do I convert date/timestamp of format like /Date(1593786688000+0200)/ in pyspark?

我有一个 dataframe 和 CreateDate 列,格式如下: 我想将该格式转换为日期/时间戳,因此例外的 output 将是: 我在 SQL 中有这个查询,它给出了所需的 output 并且可以帮助开发: 谁能帮我实现这个目标? 谢谢! ...

从 Oracle 数据库获取数据时,PySpark 引发错误 (ORA-00933)

[英]PySpark is raising error (ORA-00933) when fetching data from Oracle Database

语境我正在使用 Databricks 连接到 Oracle 数据库并每天获取数据。 我们在 PySpark 中使用以下示例代码来验证和访问数据库: 然后我们使用以下命令通过 SQL 代码访问信息: 问题今天我们意识到这种方法会引发如下错误: SQLSyntaxErrorException: OR ...

Pyspark - 将结构为 arrays 的列扩展到新列中

[英]Pyspark - Expand column with struct of arrays into new columns

我有一个 DataFrame,它有一个单列,它是一个结构类型并包含一个数组。 我正在尝试将 CustomFields 数组列转换为 3 个三列: 国家; 是外部的; 服务。 因此,例如,我有这些值: 并且除该行之外的最终 dataframe output 将是: 谁能帮我实现这个目标? 谢谢! ...

使用 Azure Databricks Feature Store Client 在启用了统一目录的工作区上将功能发布到 cosmos dB

[英]Publish features to cosmos dB using Azure Databricks Feature Store Client fails on workspace with unity catalog enabled

我们正在尝试使用 cosmosdb 创建一个在线特征存储,遵循这个文档: https://learn.microsoft.com/en-us/azure/databricks/machine-learning/feature-store/publish-features 。 但是当我将表发布到 c ...

我们可以一起使用 Microsoft Purview 和 Unity Catalog 吗

[英]Can we use Microsoft Purview and Unity Catalog together

Unity Catalog是 Lakehouse 的 Azure Databricks 数据治理解决方案。 鉴于Microsoft Purview提供统一的数据治理解决方案,以帮助管理和治理本地、多云和软件即服务 (SaaS) 数据。 问题:在我们same Azure Cloud 项目中,我们可以 ...

Synapse 无服务器池查询以前版本的增量表

[英]Synapse serverless pool to query delta table previous versions

我们可以使用 Synapse 无服务器池(内置)来查询增量文件的先前版本吗? 我热衷于类似于我们在 Databricks 中所做的 SQL 声明: OPENROWSET 支持是否支持“版本选择”选项? 如果不可能,将增量表注册到外部托管表有帮助吗? ...


 
粤ICP备18138465号  © 2020-2023 STACKOOM.COM