从 s3 路径文件中删除增量文件数据

[英]Deleting delta files data from s3 path file

我正在 AWS s3 中编写“delta”格式文件。 由于一些损坏的数据我需要删除数据，我正在使用可以访问具有删除权限的 AWS S3 路径的企业数据块。 当我尝试使用以下脚本删除时 但它并没有删除 s3 路径中的数据，即“date > '2023-01-01'”。 我等了 1 小时，但我仍然 ...

Select 零售中特定类别的唯一客户 ID，并丢弃 rest

[英]Select unique customer IDs for specific category in retail and discard the rest

我目前正在尝试获取仅从特定类别购买的独特客户，例如， 在上图中我可以看到所有购买 softline 的客户，客户 1 和 3 是其他类别，包括 softline，但我想要 select 那些只购买了 softline 而没有其他类别的客户，从上图中我只想要客户2 和 4 而不是 1 和 3。 我 ...

无法识别的内容类型参数：在数据块实验中提供 model 时的格式

[英]Unrecognized content type parameters: format when serving model on databricks experiement

使用 MLflow 将 model 服务到数据块时出现此错误， 无法识别的内容类型参数：格式。 重要提示：MLflow Model 评分协议在 MLflow 2.0 版中发生了变化。 如果您看到此错误，您可能使用了过时的评分请求格式。 要解决该错误，请更新您的请求格式或调整您的 MLflow 模型的 ...

使用 ipywidgets 加载 Databricks Unity Catalog 表会抛出“Missing Credential Scope”异常

[英]Using ipywidgets to load a Databricks Unity Catalog table throws "Missing Credential Scope" exception

我们正在尝试创建一个数据操作笔记本和 ipywidgets 来为预定义的 function 调用创建一个简单的 UI。 在这些函数中，我们依赖于从 Metastore 加载数据。 这是我们正在做的一个例子。 function loaddf加载 dataframe。function clickBut ...

在where条件下使用表时会跳过Spark分区过滤器，为什么？

[英]Spark partition filter is skipped when table is used in where condition, why?

也许有人观察到这种行为并且知道为什么 Spark 采用这种方式。 我只想从分区表中读取几个分区。 结果（部分）物理计划： 它非常快，~1s，在执行计划中我看到它使用那些提供的数据集作为分区过滤器的 arguments。 如果我尝试以单列表的形式提供过滤谓词，它会进行全表扫描，并且需要 100 倍的 ...

在 Azure 数据块中使用 Pyspark 代码比使用 SQL 有什么好处？

[英]Any benefits of using Pyspark code over SQL in Azure databricks?

我正在做一些已经有 SQL 代码的事情。 现在我们正在迁移到 Azure。所以我为转换创建了一个 Azure 数据块，并使用相同的 SQL 代码进行了一些小改动。 我想知道 - 是否有任何推荐的方法或最佳实践来使用 Azure 数据块？ 我们是否应该重写 PySpark 中的代码以获得更好的性能？ ...

将 csv 文件中的新数据导入增量表

[英]bring new data from csv file to delta table

我使用以下代码创建了包含 csv 文件的新表%sql SET spark.databricks.delta.schema.autoMerge.enabled = true; create table if not exists catlog.schema.tablename; COPY INT ...

Databricks Jobs API 2.1 与 2.0 返回的作业数据之间有什么区别吗？

[英]Is there any difference between the Job data returned from Databricks Jobs API 2.1 vs 2.0?

我看到的主要区别是 2.1需要最大页面大小为 25 的分页结果，而 2.0 不支持分页并且会在一次调用中获得所有结果。 从 Jobs Get 和 List api 返回的“Job”对象的结构或内容有什么不同，例如 /api/2.0/jobs/list？ 我很难说，因为我找不到 2.0 规范，文档只 ...

是否可以参数化 mlflow 运行名称/实验名称而不是硬编码运行名称？

[英]Is it possible to parametize mlflow run name/experiment name instead of hard coding a run name?

是否可以参数化 ml 运行名称或 ml 实验名称而不是对运行名称进行硬编码？ 我知道我们可以使用标签，但这不是一回事。 ...

如何在没有额外层的情况下处理 Bronze 层中的 CSV 个文件

[英]How to handle CSV files in the Bronze layer without the extra layer

如果我的原始数据是 CSV 格式，并且我想将它作为 Delta 表存储在 Bronze 层中，那么我最终会得到四层，如 Raw+Bronze+Silver+Gold。 我应该考虑哪种方法？ ...

如何获取流增量表的快照作为 Databricks 中的 static 表？

[英]How to get a snapshot of a streaming delta table as a static table in Databricks?

假设我在 Databricks 中有一个流式增量表。 有什么方法可以将流式表的快照作为 static 表？ 原因是我需要通过以下方式将此流表与 static 表连接起来： “Output”是一个 static 表，“country_information”是流表。 但是，我收到错误： 另外，我无 ...

SQL 在数据块上的问题，在 SQL 服务器上工作但在数据块上失败

[英]Problem with SQL on databricks, works on SQL Server but fails on databricks

我正在尝试在数据块上运行以下查询并得到这个。 不支持数据类型日期时间。（第 2 行，位置 84） 下面是正在寻找的格式 eom start_tm2 2021-11-30 2021-11-01 00:00:00.000 我们在 Databricks 9.1 上，date_add function 不工 ...

从A和B查询到select个样本

[英]Query to select samples from A and B

我有两个群体 A 和 B。我需要首先从 A 中获取 select 10 个独特的随机样本。然后我需要从 B 中获取 select 10 个独特的随机样本，这些样本也不在从 A 中选择的样本中。 唯一性仅基于 ID。 虽然有 10 个唯一 ID，但总行数可能更多。 我遵循了这些步骤。 首先，我从 A ...

Databricks 工作流中的作业传感器

[英]Job Sensors in Databricks Workflows

目前我们使用 Airflow 安排我们的 Databricks 笔记本。由于项目之间的依赖性，DAG 之间存在依赖性。 一些 DAG 会等到前一个 DAG 中的任务完成后才开始（通过使用传感器）。 我们现在正在寻求使用 Databricks DBX。 它对我们来说仍然是新的，但似乎 DBX 的主要附 ...

Databricks 中的 Python

[英]Python in Databricks

如何使用 python 在数据块中启动基本查询？ 我需要的数据在数据块中，到目前为止，我一直在使用 Juypterhub 来提取数据并修改一些东西。 但现在我想消除在 Jupyterhub 中提取数据的步骤，并直接将我的 python 代码移动到数据块中，然后安排作业。 我开始像下面 并得到以下错 ...

Python DefaultAzureCredential get_token 设置到期或更新令牌

[英]Python DefaultAzureCredential get_token set expiration or renew token

我正在使用来自azure-identity的DefaultAzureCredential连接到具有服务主体环境变量（AZURE_CLIENT_SECRET、AZURE_TENANT_ID、AZURE_CLIENT_ID）的 Azure。 我可以像这样从特定的get_token获取令牌： 根据我的经验 ...

如何在数据块中的字符串中使用 %run 运行代码

[英]how to run code with %run inside a string in databricks

希望一切都好：我正在尝试创建一个 function 并将路径作为参数。 在那个 function 里面，我想要 append 到 %run 的路径。 然后运行笔记本本身。 我做了什么：def another_func(path): nb = "%run" + str(path) re ...

使用 spark 和 python adls gen 2 仅列出子文件夹名称

[英]List only the subfolder names using spark and python adls gen 2

我有一个文件夹结构，其中有源、年、月、日，然后是镶木地板文件，在这里我每天将数据存储在一个新文件夹中。 来源 2022年 12 30 31 2023年 01 01 02 03 等等。 我需要动态地能够 select 最新的文件夹。 在这种情况下，它是文件夹 2023/01/03，但我似乎 ...

从所有表的 azure databricks 数据库列中获取值

[英]get a value from azure databricks database column from all tables

我正在尝试从数据块中的数据库中的每个表中获取最小和最大日期。 我已经开始使用以下内容： 但是当我df_update.display()我只得到最后一个表，我希望有 60 个表，每个表都有每行表的最大和最小日期。 ...

使用 jdbc 和 sparklyr 从 R 连接到 Azure Databricks

[英]Connecting to Azure Databricks from R using jdbc and sparklyr

我正在尝试使用 sparklyr 和 jdbc 将我的本地 R 环境连接到 Azure Databricks 后端。我需要在数据块中执行操作，然后在本地收集结果。 一些限制： 没有可用的RStudio，只有一个终端没有数据块连接。 只有 odbc 或 jdbc。 odbc + dplyr 的配置 ...