问：Azure Databricks中的Unity Catalog是否有分类资产的功能？ 如果是这样，有人可以提供指向 Unity 目录中有关此功能的在线文档的链接吗？ 请看下面的上下文： Unity Catalog是 Lakehouse 的 Azure Databricks 数据治理解决方案。 ...
我们正在尝试使用 cosmosdb 创建一个在线特征存储，遵循这个文档： https://learn.microsoft.com/en-us/azure/databricks/machine-learning/feature-store/publish-features 。 但是当我将表发布到 c ...
Unity Catalog是 Lakehouse 的 Azure Databricks 数据治理解决方案。 鉴于Microsoft Purview提供统一的数据治理解决方案，以帮助管理和治理本地、多云和软件即服务 (SaaS) 数据。 问题：在我们same Azure Cloud 项目中，我们可以 ...
我们使用 Azure 数据块并通过 terraform 进行管理。我们配置了 SCIM 连接器配置程序（AAD 企业应用程序）以将用户和组从 AAD 同步到数据块。 这很好用。 我可以将作业或集群权限分配给这些 SCIM 同步组，但是当我尝试将管理员角色（整个工作区管理员）分配给 SCIM 同步组时 ...
我们正在尝试创建一个数据操作笔记本和 ipywidgets 来为预定义的 function 调用创建一个简单的 UI。 在这些函数中，我们依赖于从 Metastore 加载数据。 这是我们正在做的一个例子。 function loaddf加载 dataframe。function clickBut ...
我们有 3 个数据块工作区，一个用于开发，一个用于测试，一个用于生产。 所有这些工作区都位于西欧同一地区。 我们所有的数据都在数据湖中，这意味着数据块中的外部表引用数据湖（Azure 数据湖第 2 代）中的数据。 因此，这些工作区中的每一个都有与之关联的不同数据湖（因为它们适用于不同的环境）。 现在 ...
我正在尝试使用 Unity 目录外部位置功能在 Databricks 和 Azure 数据湖存储 gen2 之间建立连接。 假设： Adls 位于专用端点后面 Databricks 工作区是私有的 .net，我已将工作区的私有和公共 su.net 添加到“防火墙和 virtual.network ...
是否有目录收集器可用于将 Unity 目录和数据块中的技术和操作元数据收集到 Collibra 中？ 或者我们是否需要编写自定义代码来开发目录收割机？ ...
我正在尝试按照此文档 Unity Catalog 在 Azure Databricks 中设置 Unity Catalog，但我在 Databricks 上找不到“Create Catalog”和“Create Metastore”。 请帮忙设置 ...
我正在尝试为统一目录设置外部位置。 它能够连接到存储，同时尝试测试存储访问仅限于选定的 .net 和 ips 的连接。 但是我在从笔记本访问存储时遇到 403 错误，甚至添加了对托管标识的 blob 贡献者访问权限。 我错过了什么吗？ 我的假设是因为我向受信任的资源添加了一个连接器，它将绕过.ne ...
我创建了一个数据块功能表，但看到它默认位于 hive_metastore 下。 我期待在我创建的统一目录下看到它。 featurestore 还没有与 unity catalog 集成吗？ ...
我是 DataBricks Unity Catalog 的新手，我正在尝试关注https://docs.databricks.com/_static/notebooks/unity-catalog-example-notebook.html上的快速入门笔记本。 在我看来，我做了我必须做的一切： 我 ...
我正在尝试使用 pyspark.pandas.read_table 将 Databricks 上的表读取到pyspark.pandas.read_table并收到以下错误： 该表是根据 Databricks 快速入门笔记本创建的： 我正在尝试阅读表格 并得到上面的错误。 将表格读入spark.sq ...
我正在为我的 Databricks 工作区将表从 hive_metastore 迁移到 Unity Catalog。 我有三个数据块工作区： 开发测试产品每个工作区都有自己的 ADLSv2 存储帐户。 （开发、测试、产品） 目前在开发时，我在表格中使用 这使用指向相应容器（Workspace D ...
尝试创建一个 Metastore 以管理包含在 Azure Databricks 中的身份，但数据选项卡仅显示创建表。 根据文档，它应该在那里。 此外，我创建了 databricks 服务并拥有 azure 贡献者角色。 我是 Databricks 工作区的管理员。 它在 Azure 上不可用吗？ ...
通过 terraform 为 Unity 目录创建元存储失败并显示以下错误消息：Error: cannot create metastore: Only account admin can create metastores. \ Using databricks-cli auth: host=h ...
我为我们的工作区打开了 Unity Catalog。 现在，作业集群具有访问模式设置。 ( docs ) 我可以在 UI 上手动更改此设置： 但是，通过databricks jobs create --json-file X.json作业时如何控制此设置？ ...
这个问题很简单。 似乎在 DLT 中，您可以定义 output 表名，如下所示： 这将写入 hive_metastore 目录，但是如何为不同的目录自定义它？ ...
与此问题类似： Grantprivilege on future tables in PostgreSQL? 我想启用 SELECT 访问将在现有数据库中创建的所有表，有什么方法可以使用 Unity Catalog 实现这一点？ ...
我已经开始阅读 Databricks 引入的 Unity 目录。 我了解它试图解决的基本问题，但我确实了解目录到底是什么。 这在 Databricks 文档中可用， 目录包含模式（数据库），模式包含表和视图。 https://docs.databricks.com/data-gover ...