我正在尝试在我的 windows 机器上设置数据块连接。 在进行 databricks-connect 测试时，我收到以下错误，抱怨找不到 java 证书。 '' 我安装了 java 1.8 我下载了浏览器证书并安装了 我使用以下命令安装了证书。 不过，我面临着同样的问题。 ...
如何使用 python 在数据块中启动基本查询？ 我需要的数据在数据块中，到目前为止，我一直在使用 Juypterhub 来提取数据并修改一些东西。 但现在我想消除在 Jupyterhub 中提取数据的步骤，并直接将我的 python 代码移动到数据块中，然后安排作业。 我开始像下面 并得到以下错 ...
我继承了一个巨大的 pyspark 项目，而不是使用 Databricks UI 进行开发，我想通过 databricks-connect 使用 vscode。 因此，我无法确定以下方面的最佳做法： 因为项目文件在 repos 中保存为 .py，所以当我使用 VSCode 打开它们时，它无法识别 ...
我正在寻找创建一个 dynamic.withColumn。 根据正在处理的文件，“规则”列被替换为列表。 例如：文件 A 有一个名为“已验证”的列，该列基于与文件 B 不同的条件，但具有相同的列名 A。那么我们可以遍历所有文件 AZ 对每个文件中的同一列应用不同的规则吗？ 在这里，我试图验证许多数据 ...
我在 windows 10 上的 conda 环境中设置并配置了 databricks-connect。先决条件之一是 Java < 8 才能正常工作。 我尝试从这里安装 Java 8 甚至 Java 7： https://www.oracle.com/java/technologies/ja ...
我正在尝试使用 Databricks 中的COPY INTO语句从云存储中提取 CSV 个文件。 问题是文件夹名称中有一个空格/AP Posted/并且当我尝试引用代码执行的路径时会引发以下错误： SQL 语句中的错误：URISyntaxException：索引 70 处路径中的非法字符：abfs ...
我正在尝试在数据块外部使用DBUtils中的pyspark.dbutils ，它在本地复制文件时没有显示警告或错误，但目标文件夹中不存在文件。 我可以使用 dbutils.fs.ls 检查文件是否存在于dbutils.fs.ls上，并且文件确实存在。 我的 pyspark session 配置了da ...
我正在使用 databricks-connect 将我的本地 PyCharm IDE 连接到 Azure Databricks 集群。 在我尝试在没有 Spark 上下文的情况下访问文件之前，这完全可以正常工作。 例如dbutils.fs.put('dbfs:/tmp/test_file.txt', ...
我正在尝试运行一些代码来训练 model，同时将我的结果记录到 Databricks 上的 MLflow。 当我尝试调用mlflow.set_experiment()时，我不断收到以下错误， 这里到底发生了什么？ 我正在使用 Databricks Connect 运行我的代码，弹出错误的部分如下所示 ...
目前，我面临一个问题，因为我们集群上的databricks-connect运行时已更新到 10.4。 从那以后，我无法再为 spark-avro 加载 jars。 通过运行以下代码 我收到以下错误： ... 如果重要：我使用 windows 机器（Windows 11）并通过诗歌管理包。 这是我 ...
我们已经在 datababricks 中创建了秘密和范围，我们正在使用 dbUtils 来访问这些秘密和范围。 不幸的是，这个 dbUtils function 不适用于开发环境，所以我需要有关如何访问它的建议以及摆脱它的最佳替代方法是什么？ ...
我正在尝试使用 databricks-connect 在 mlflow 上记录经过训练的 spark 模型。 我希望将此模型记录在 Databricks 注册表中。 目前，我的代码如下所示： mlflow.set_tracking_uri("databricks") mlflow.set_exper ...
我正在使用 bash 脚本从 databricks-connect 命令连接到数据块工作区 我尝试了以下命令来配置 echo "y $(databricks url) $(token) $(cluster_id) $(org_id) $(port)" | databricks-connect con ...
从本地 IDE 连接到 Databricks 集群时，我认为仅在远程模式下（在集群上）执行与 spark 相关的命令。 scikit-learn, to_pandas等单节点操作怎么样。 如果这些功能只使用本地机器，资源池会很小。 如何还利用远程驱动程序执行单节点操作？ Databricks ...
我正在尝试使用 databricks-connect 运行一些代码，但我突然遇到了这个错误， 直到今天一切正常。 看起来我的一些同事也突然出现了同样的错误。 我也遇到过这篇文章，但它只提供了一篇文章的链接，该文章解释了如何在 VS Code 上设置 db-connect， https://c ...
我正在使用 JRE - 1.8 和 databricks-connect 版本 9.1.15 和 python 版本 - Python 3.7.9 我看到该命令 - databricks-connect 始终返回以下错误，即使我调用命令 - databricks-connect configur ...
我正在使用新的Flink/Databricks 连接器，我试图了解单个 Flink 接收器是否可以创建多个增量表？ 查看文档，对 path/s3/hdfs 的引用是单个位置 是否可以根据事件 stream 动态更改 basePath？ ...
我在将我的 dbt 云和 dbt 核心连接到数据块时遇到问题我已经阅读了这4个链接，但仍然无法连接 https://docs.databricks.com/integrations/prep/dbt-cloud.html#connect-to-dbt-cloud&language-Clust ...
我有一个查询需要转换为 Databricks SQL 或针对 Databrick 环境中的表运行但失败，即使它对表 SQL Server 运行良好。 表和查询可以在这里找到在 Databricks 环境中转换或运行的查询是： 然后像这样从 CTE 中选择： 我同样注意到 和 不在数据块环境中工作。 ...
是否可以使用 databricks-connect 切换工作区？ 我目前正在尝试切换： spark.conf.set('spark.driver.host', cluster_config['host']) 但这会返回以下错误： AnalysisException: Cannot modify ...