DataBricks 笔记本中的“WITH x AS”ParseException 错误

[英]"WITH x AS " ParseException Error in DataBricks notebook

我正在尝试加入 DataBricks Notebook 中的两个表。 SQL 语句中的第一行出错了。 我不能确定为什么。 我读过的文档说这通常是由于错字造成的。 但对我来说并非如此（至少我看不到）。 ...

使用来自 spark 的 jdbc 驱动程序查询 ibm db2 时，如何设置“仅用于获取”？

[英]How do I set "for fetch only" when querying ibm db2 using the jdbc driver from spark?

我有一些代码可以查询 db2 数据库，如果我不包含“仅用于获取”，该数据库可以正常工作，但如果包含，则会返回错误。 我想知道它是否已经完成，或者我如何设置它。 当我仅包含获取时出错： com.ibm.db2.jcc.am.SqlSyntaxErrorException: DB2 SQL Error ...

Python 异常消息 Escaping <=> 字符

[英]Python Exception Message Escaping <=> character

我和我的同事正在编写一些代码，为我们在 Python 中构建的库的用户生成 SQL 合并字符串，以便在 Azure Databricks 环境中运行。 这些函数通过我们编写的称为 DebugMode 的自定义异常提供 SQL 字符串。 我们遇到但我找不到满意答案的问题是，为什么在打印 DebugMo ...

是否可以从 Airflow 触发 Databricks 作业，这将消耗我部署的 Python 项目？

[英]Is it possible to trigger a Databricks job from Airflow, which will consume a Python project I deployed?

按照本教程，我可以为任务提供一个我想在 Databricks 中运行的笔记本的路径 - 但是有没有办法告诉任务从 S3 或 Artifactory 获取 Python 项目（或者可能是 wheel 文件的路径？）并运行它而不是笔记本？ 我怎样才能使它工作以便为生产做好准备？ 我想创建一个流程，以 ...

py4j.Py4JException：方法集（[class java.lang.String，class java.util.ArrayList]）在Databricks中不存在

[英]py4j.Py4JException: Method set([class java.lang.String, class java.util.ArrayList]) does not exist in Databricks

我正在尝试使用 Databricks 访问远程 S3 存储桶。 据我了解，这就是我的代码应该是什么样子， 尝试设置 Spark 配置时，我似乎遇到了以下错误， 我究竟做错了什么？ ...

Azure 数据块 PySpark 自定义 UDF ModuleNotFoundError：没有命名的模块

[英]Azure databricks PySpark custom UDF ModuleNotFoundError: No module named

我正在检查这个 SO 但没有任何解决方案帮助PySpark 自定义 UDF ModuleNotFoundError：没有命名的模块我在 azure 数据块上有当前的回购协议： 在run_pipeline笔记本上我有这个 在text_cleaning.py上，我有一个名为 basic_clean 的 ...

是否可以从 Java 代码管理或调用 Databricks 集群的作业？

[英]Is it possible to manage or call jobs of a Databricks cluster from Java Code?

我使用 jdbc 字符串连接在 Java 简单代码中成功连接。 我只想知道是否可以从 Java 代码调用 Azure Databricks 集群的作业以及如何调用？ 似乎唯一可能做的事情是使用这种连接调用 SQL 语句，但不调用数据块集群。 有任何想法吗？ 预先感谢 ...

如何将 JSON object 的列表转换为 PySpark DataFrame？

[英]How to convert list of JSON object to PySpark DataFrame?

我想将变量中的 JSON 字符串转换为 Databricks 上的 PySpark DataFrame。 我有一个来自 API 的有效负载。它是 JSON 个对象的列表，保存在一个名为response_list的变量上。 变量是 JSON object 类型为class 'str'&gt; ：[{ ...

R 当字符在字符串中出现多次时，使用二进制文本值列表 output

[英]R Using a list of text value output in binary when character appears more than once in a string

在 Databricks 中使用 R。 我有以下可能的文本条目示例列表。 我想检查其中任何一个是否在字符串中多次出现（如下例）并在新列中返回二进制 output。 此示例的 output 将为 1。 我尝试了以下但只取得了部分成功： 也试过 并且 ...

如何使用自定义分词器保存 TF IDF 向量器？ python

[英]How to save TF IDF vectorizer with custom tokenizer? python

我正在尝试用 pickle 保存我的 tf idf vectorizer，但不幸的是我不断收到错误 这是矢量化器，其中我的分词器是我的自定义分词器： 这是泡菜 我不知道如何让它全球化 ...

Databricks SQL 编辑器“初始化配置失败”

[英]Databricks SQL Editor "Failure to initialize configuration"

当我尝试 select SQL 编辑器中的一个特定表中的内容时，我收到错误“无法初始化配置”。 查询很简单，如select * from table_name 。 还尝试了限制和/或选择特定列，但得到了同样的错误。 如果我切换到“数据科学与工程”并使用笔记本中的常规集群执行相同的查询，一切正常。 ...

Databricks SQL Warehouse 报错：User is not part of org

[英]Error in Databricks SQL Warehouse: User is not part of org

今天尝试启动Databricks SQL Warehouse集群，却收到如下信息： 集群无法启动。 集群启动将停止请求创建集群失败，出现异常：PERMISSION_DENIED：用户 xxxx 不属于 org：xxxx 我相信这个错误是由于一名高级成员上周离开了我们的团队。 当他离开时，我们将他从 ...

有没有办法在 Databricks SQL (Spark SQL) 中按表、模式和目录计算行数？

[英]Is there a way to calculate the number of rows by table, schema and catalog in Databricks SQL (Spark SQL)?

我需要在 Databricks 中创建一个仪表板，用于汇总当前工作区中的行数。 有没有办法创建一个 SQL 查询来按表、模式和目录计算行数？ 预期结果将是： 目录图式桌子行数 example_catalog_1 金融表_示例_1 1567000 example_catalog_1 金融表_示例 ...

*** 警告：跳过 output 的 31093 个字节 *** Databricks

[英]*** WARNING: skipped 31093 bytes of output *** Databricks

我目前正在使用 shell 脚本在 Databricks 中获取 API 响应，但由于响应很大，我收到此错误 *** 警告：跳过 output 的 31093 个字节 *** 我正在努力寻找如何从响应中获取 rest 数据。 API 调用 我正在使用https://learn.microsoft ...

Databricks 上的 DBT 工作流失败：object SeedNode 中的 AttributeError

[英]DBT workflow on Databricks fails: AttributeError in object SeedNode

今天我们在数据块中的 DBT 工作流失败了。 工作流运行如下： 任何建议可能是错误的或如何解决它？ Databricks 日志中报告的版本： 使用 dbt=1.4.1 运行错误信息如下： 'SeedNode' object 没有属性 'depends_on' 09:59:17 回溯（最近调用 ...

Databricks repos 笔记本被误删除（未提交，未版本化），是否可以恢复？

[英]Databricks repos notebook deleted by mistake (not commited, not versioned), is posible to restore it?

在任何提交之前，我不小心从我的数据块存储库中删除了一个笔记本，我希望从垃圾文件夹中恢复它，但笔记本不在那里。 是否可以从服务器上的任何目录或类似目录中恢复？ ...

Databricks cli - 用于复制文件的 dbfs 命令

[英]Databricks cli - dbfs commands to copy files

我正在致力于Purview ADB Lineage Solution Accelerator的部署。 在“ 在您的 Databricks 集群上安装 OpenLineage”部分的第 3 步中，作者要求在powershell中运行以下命令以使用Databricks CLI将init脚本和jar上传到 ...

如何在数据块中使用带分隔符的 string_split()？

[英]How to use string_split() with delimiter in databricks?

我正在尝试在数据块中使用 string_split() function 来转换为低于 dataframe。 源 dataframe 在 Databricks 中存储为 TempView： ID 价值 1个值 1、值 2、值 3 2个值-1，值-4 Output 需要： ID 价值 1个值 ...

ConnectException: Connection refused (Connection refused) Error while obtaining a new communication channel。 数据块笔记本中的错误

[英]ConnectException: Connection refused (Connection refused) Error while obtaining a new communication channel. error in databricks notebook

在 python 数据块笔记本中运行 python 代码（ML 模型）时，我遇到以下错误消息 ConnectException: Connection refused (Connection refused) 获取新的通信通道时出错 ConnectException 错误：这通常是由 OOM 错误引 ...

在数据块中挂载 onedrive for business

[英]To Mount onedrive for business in databricks

我正在尝试在数据块社区版的一个驱动器业务中安装一个文件夹。 我无法使用 onedrivesdk，因为它已被弃用。 我创建了一个应用程序注册，为其分配了读写权限并使用客户端 ID 和密码。我尝试使用 api 请求进行挂载，但它没有提供访问令牌。 首先我想知道，是否可以将一个驱动器安装到 databr ...