堆栈内存溢出
cost 199 ms
Databricks SQL 编辑器“初始化配置失败”

[英]Databricks SQL Editor "Failure to initialize configuration"

当我尝试 select SQL 编辑器中的一个特定表中的内容时，我收到错误“无法初始化配置”。 查询很简单，如select * from table_name 。 还尝试了限制和/或选择特定列，但得到了同样的错误。 如果我切换到“数据科学与工程”并使用笔记本中的常规集群执行相同的查询，一切正常。 ...

使用 spark sql 写入增量表

[英]Writing to delta table using spark sql

在 python 中，我试图在 Databricks 的数据库DB中创建并写入表TBL 。 但我得到一个例外： A schema mismatch detected writing to the Delta table 。 我的代码如下，这里df是一个pandas dataframe。 代码在最后一 ...

py4j.Py4JException：方法集（[class java.lang.String，class java.util.ArrayList]）在Databricks中不存在

[英]py4j.Py4JException: Method set([class java.lang.String, class java.util.ArrayList]) does not exist in Databricks

我正在尝试使用 Databricks 访问远程 S3 存储桶。 据我了解，这就是我的代码应该是什么样子， 尝试设置 Spark 配置时，我似乎遇到了以下错误， 我究竟做错了什么？ ...

如果我们禁用 keyvault 的公共访问，如何访问 Azure 数据工厂

[英]How to Access Azure Data Factory if we disable public access for keyvault

那么，如果我们禁用 keyvault 的公共访问，我们如何获取 Azure 数据工厂、逻辑应用程序、Azure Synapse 和 Azure DataBricks 的秘密或密钥。 我通过使用出站 IP 地址找到了 AppServices 和 FunctionApps 的解决方案，如果我们禁用 ke ...

列出通过 Databricks 中的 Azure VM 托管标识创建的作业运行

[英]List job runs created through Azure VM managed identity in Databricks

我们是否有 python 中的解决方案来列出使用 Azure Databricks 中的 Azure VM 托管身份创建的作业运行。 感谢帮助！ 在 python 中使用托管身份库时出现 http 403 错误from azure.identity import ManagedIdentityCre ...

Databricks SQL Warehouse 报错：User is not part of org

[英]Error in Databricks SQL Warehouse: User is not part of org

今天尝试启动Databricks SQL Warehouse集群，却收到如下信息： 集群无法启动。 集群启动将停止请求创建集群失败，出现异常：PERMISSION_DENIED：用户 xxxx 不属于 org：xxxx 我相信这个错误是由于一名高级成员上周离开了我们的团队。 当他离开时，我们将他从 ...

df to table 抛出错误 TypeError: __init__() got multiple values for argument 'schema'

[英]df to table throw error TypeError: __init__() got multiple values for argument 'schema'

我在 pandas 中有 dataframe：- purchase_df。 我想把它转换成 sql 表，这样我就可以在 pandas 中执行 sql 查询。我试过这个方法 它抛出一个错误 我有 dataframe 名称 purchase_df，我需要对其执行 sql 查询。 我需要像这样对这个 d ...

在不创建新集群的情况下在 azure 数据块中执行 spark-submit

[英]Execute spark-submit in azure databricks without creating new cluster

所以，这是我的问题。 我有一个 pyspark 作业存储在 dbfs 中，因为由于组织策略我无法访问数据块存储库，并且由于组织策略我无法在再次创建 spark-submit 作业时创建新集群。 他们有什么办法可以执行 pyspark 作业并将参数传递给它吗？ ...

Azure Databricks的Unity Catalog中的数据分类

[英]Data classification in Unity Catalog of Azure Databricks

问：Azure Databricks中的Unity Catalog是否有分类资产的功能？ 如果是这样，有人可以提供指向 Unity 目录中有关此功能的在线文档的链接吗？ 请看下面的上下文： Unity Catalog是 Lakehouse 的 Azure Databricks 数据治理解决方案。 ...

Databricks 上的 DBT 工作流失败：object SeedNode 中的 AttributeError

[英]DBT workflow on Databricks fails: AttributeError in object SeedNode

今天我们在数据块中的 DBT 工作流失败了。 工作流运行如下： 任何建议可能是错误的或如何解决它？ Databricks 日志中报告的版本： 使用 dbt=1.4.1 运行错误信息如下： 'SeedNode' object 没有属性 'depends_on' 09:59:17 回溯（最近调用 ...

在使用 pandas 在 python 中执行 SQL 查询时，我遇到了错误：TypeError: __init__() got multiple values for argument 'schema'

[英]While performing SQL query in python using pandas i am facing the error : TypeError: __init__() got multiple values for argument 'schema'

在此处输入图像描述尝试在 python 中编译 sql 查询。我曾经在 python 中经常这样做。但我过去从未遇到过这个错误。 帮我解决这个问题。 询问：from pandasql import sqldf import pandas as pd from sklearn import data ...

Pyspark - 如何在 pyspark 中转换格式为 /Date(1593786688000+0200)/ 的日期/时间戳？

[英]Pyspark - How do I convert date/timestamp of format like /Date(1593786688000+0200)/ in pyspark?

我有一个 dataframe 和 CreateDate 列，格式如下： 我想将该格式转换为日期/时间戳，因此例外的 output 将是： 我在 SQL 中有这个查询，它给出了所需的 output 并且可以帮助开发： 谁能帮我实现这个目标？ 谢谢！ ...

从 Oracle 数据库获取数据时，PySpark 引发错误 (ORA-00933)

[英]PySpark is raising error (ORA-00933) when fetching data from Oracle Database

语境我正在使用 Databricks 连接到 Oracle 数据库并每天获取数据。 我们在 PySpark 中使用以下示例代码来验证和访问数据库： 然后我们使用以下命令通过 SQL 代码访问信息： 问题今天我们意识到这种方法会引发如下错误： SQLSyntaxErrorException: OR ...

Pyspark - 将结构为 arrays 的列扩展到新列中

[英]Pyspark - Expand column with struct of arrays into new columns

我有一个 DataFrame，它有一个单列，它是一个结构类型并包含一个数组。 我正在尝试将 CustomFields 数组列转换为 3 个三列： 国家; 是外部的； 服务。 因此，例如，我有这些值： 并且除该行之外的最终 dataframe output 将是： 谁能帮我实现这个目标？ 谢谢！ ...

使用 Azure Databricks Feature Store Client 在启用了统一目录的工作区上将功能发布到 cosmos dB

[英]Publish features to cosmos dB using Azure Databricks Feature Store Client fails on workspace with unity catalog enabled

我们正在尝试使用 cosmosdb 创建一个在线特征存储，遵循这个文档： https://learn.microsoft.com/en-us/azure/databricks/machine-learning/feature-store/publish-features 。 但是当我将表发布到 c ...

我们可以一起使用 Microsoft Purview 和 Unity Catalog 吗

[英]Can we use Microsoft Purview and Unity Catalog together

Unity Catalog是 Lakehouse 的 Azure Databricks 数据治理解决方案。 鉴于Microsoft Purview提供统一的数据治理解决方案，以帮助管理和治理本地、多云和软件即服务 (SaaS) 数据。 问题：在我们same Azure Cloud 项目中，我们可以 ...

Synapse 无服务器池查询以前版本的增量表

[英]Synapse serverless pool to query delta table previous versions

我们可以使用 Synapse 无服务器池（内置）来查询增量文件的先前版本吗？ 我热衷于类似于我们在 Databricks 中所做的 SQL 声明： OPENROWSET 支持是否支持“版本选择”选项？ 如果不可能，将增量表注册到外部托管表有帮助吗？ ...


排序:
质量:
 
粤ICP备18138465号  © 2020-2023 STACKOOM.COM