堆栈内存溢出
cost 617 ms
无法使用数据块连接从 Windows 连接到数据块集群

[英]Unable to connect to databricks cluster from Windows using databricks-connect

我正在尝试在我的 windows 机器上设置数据块连接。 在进行 databricks-connect 测试时，我收到以下错误，抱怨找不到 java 证书。 '' 我安装了 java 1.8 我下载了浏览器证书并安装了 我使用以下命令安装了证书。 不过，我面临着同样的问题。 ...

Databricks 中的 Python

[英]Python in Databricks

如何使用 python 在数据块中启动基本查询？ 我需要的数据在数据块中，到目前为止，我一直在使用 Juypterhub 来提取数据并修改一些东西。 但现在我想消除在 Jupyterhub 中提取数据的步骤，并直接将我的 python 代码移动到数据块中，然后安排作业。 我开始像下面 并得到以下错 ...

使用 Databricks 连接将 Pyspark 项目开发表单 Databricks UI 移动到 VSCode

[英]Moving a Pyspark project development form Databricks UI to VSCode using databricks connect

我继承了一个巨大的 pyspark 项目，而不是使用 Databricks UI 进行开发，我想通过 databricks-connect 使用 vscode。 因此，我无法确定以下方面的最佳做法： 因为项目文件在 repos 中保存为 .py，所以当我使用 VSCode 打开它们时，它无法识别 ...

使用动态列注入循环遍历数据帧

[英]Looping Through Data Frames with Dynamic withColumn Injection

我正在寻找创建一个 dynamic.withColumn。 根据正在处理的文件，“规则”列被替换为列表。 例如：文件 A 有一个名为“已验证”的列，该列基于与文件 B 不同的条件，但具有相同的列名 A。那么我们可以遍历所有文件 AZ 对每个文件中的同一列应用不同的规则吗？ 在这里，我试图验证许多数据 ...

使用带有 Azure Databricks 的 COPY INTO 处理 abfss 中的空间

[英]Handling spaces in the abfss using COPY INTO with Azure Databricks

我正在尝试使用 Databricks 中的COPY INTO语句从云存储中提取 CSV 个文件。 问题是文件夹名称中有一个空格/AP Posted/并且当我尝试引用代码执行的路径时会引发以下错误： SQL 语句中的错误：URISyntaxException：索引 70 处路径中的非法字符：abfs ...

DBUtils 下载文件但文件不存在于本地

[英]DBUtils downloading files but files not present locally

我正在尝试在数据块外部使用DBUtils中的pyspark.dbutils ，它在本地复制文件时没有显示警告或错误，但目标文件夹中不存在文件。 我可以使用 dbutils.fs.ls 检查文件是否存在于dbutils.fs.ls上，并且文件确实存在。 我的 pyspark session 配置了da ...

ValueError：枚举错误代码在 mlflow.set_experiment() 中没有为名称“403”定义值

[英]ValueError: Enum ErrorCode has no value defined for name '403' in mlflow.set_experiment()

我正在尝试运行一些代码来训练 model，同时将我的结果记录到 Databricks 上的 MLflow。 当我尝试调用mlflow.set_experiment()时，我不断收到以下错误， 这里到底发生了什么？ 我正在使用 Databricks Connect 运行我的代码，弹出错误的部分如下所示 ...

无法使用 databricks 版本 10.4 加载 spark-avro jars

[英]Cannot load spark-avro jars with databricksversion 10.4

目前，我面临一个问题，因为我们集群上的databricks-connect运行时已更新到 10.4。 从那以后，我无法再为 spark-avro 加载 jars。 通过运行以下代码 我收到以下错误： ... 如果重要：我使用 windows 机器（Windows 11）并通过诗歌管理包。 这是我 ...

DbUtils：用于开发环境

[英]DbUtils: For Development environment

我们已经在 datababricks 中创建了秘密和范围，我们正在使用 dbUtils 来访问这些秘密和范围。 不幸的是，这个 dbUtils function 不适用于开发环境，所以我需要有关如何访问它的建议以及摆脱它的最佳替代方法是什么？ ...

通过 databricks-connect 将带有 mlflow 的 Spark 模型记录到 databricks 注册表时出错

[英]Error logging Spark model with mlflow to databricks registry, via databricks-connect

我正在尝试使用 databricks-connect 在 mlflow 上记录经过训练的 spark 模型。 我希望将此模型记录在 Databricks 注册表中。 目前，我的代码如下所示： mlflow.set_tracking_uri("databricks") mlflow.set_exper ...

通过 Databricks Connect 使用远程驱动程序

[英]Use remote driver with Databricks Connect

从本地 IDE 连接到 Databricks 集群时，我认为仅在远程模式下（在集群上）执行与 spark 相关的命令。 scikit-learn, to_pandas等单节点操作怎么样。 如果这些功能只使用本地机器，资源池会很小。 如何还利用远程驱动程序执行单节点操作？ Databricks ...

dataricks-connect：无效的分片地址

[英]dataricks-connect: invalid shard address

我正在尝试使用 databricks-connect 运行一些代码，但我突然遇到了这个错误， 直到今天一切正常。 看起来我的一些同事也突然出现了同样的错误。 我也遇到过这篇文章，但它只提供了一篇文章的链接，该文章解释了如何在 VS Code 上设置 db-connect， https://c ...

将 SQL 查询转换为 Databricks SQL

[英]Converting SQL Query to Databricks SQL

我有一个查询需要转换为 Databricks SQL 或针对 Databrick 环境中的表运行但失败，即使它对表 SQL Server 运行良好。 表和查询可以在这里找到在 Databricks 环境中转换或运行的查询是： 然后像这样从 CTE 中选择： 我同样注意到 和 不在数据块环境中工作。 ...


排序:
质量:
 
粤ICP备18138465号  © 2020-2023 STACKOOM.COM