按进程的增量表访问限制

Question

是否可以根据进程或客户端 ID 限制对 Delta 表的访问？

这是我的场景：

我有一个写入增量表的流式作业，有时由于数据工程师执行的手动操作触发的并发问题或合并冲突，作业失败。

我的想法是，当有人尝试进行不是被授予的合并（流式应用程序客户端）时，除非流式作业暂停或停止，否则“表”不应允许它！

有什么我可以实现的吗

Answer 1

如果您正在使用 Databricks 并且您的流作业是使用 Databricks 工作流（以前称为作业）安排的，您可以首先查询作业 api 服务器，通过列出流作业的运行并传递job_id和active_only来检查作业当前是否处于活动状态=true作为请求的有效负载。 如果响应代码为 200 且响应正文为空白，则表示该作业目前未运行。