堆栈内存溢出
cost 178 ms
如何在不运行 Databrick 集群的情况下访问 DeltaLake 表

[英]How to access DeltaLake Tables without Databrick Cluster running

我在 DataBricks 集群上创建了 DeltaLake 表。 而且我能够从外部系统/应用程序访问这些表。 尽管我需要始终保持集群正常运行才能访问表数据。 问题： 集群关闭时是否可以访问 DeltaLake 表？ 如果是，那我该如何设置我试图查找文档。 发现“对 DetaBrick 的高级访问” ...

Databricks 连接到 IntelliJ + python 线程“主”java.lang.NoSuchMethodError 中的错误异常：

[英]Databricks connect to IntelliJ + python Error Exception in thread “main” java.lang.NoSuchMethodError:

我试图将我的数据块与我的 IDE 我的机器上没有下载 spark ad/或 scala，但我确实下载了 pyspark（pip install pyspark）。 我构造了必要的环境变量并创建了一个文件夹 Hadoop，我在其中放置了一个文件夹 bin，其中我放置了一个 winutils.exe ...

使用 pyspark 从小部件值将列添加到现有 dataframe

[英]add column to existing dataframe from widgets values using pyspark

我有一个 dataframe ，我需要从正在传递的小部件值中添加一列。 我正在尝试下面的代码，但无论如何它都没有帮助。 当我们显示（pdf）时，我们还应该看到 ID 列也已添加。 上面的代码将所有空值推入列 ID。 能否请你帮忙。 我会请求专家帮助解决上述挑战 ...

安装 databricks 时创建本地 sparksession

[英]Create a local sparksession when databricks is installed

我成功安装了databricks-connect，它对我来说工作正常，但由于某些原因，我想使用本地SparkSession，所以只需运行SparkSeesion.builder.getOrCreate() ，它将使用databricks集群而不是我的本地session笔记本电脑，请有任何想法，无需 ...

如何检查是否有人使用带有数据块连接的集群？

[英]How can I check if someone is using cluster with databricks connect?

当有人连接到 Databricks 集群时，我可以在集群详细信息中看到某个集群处于活动状态并且附加了一些笔记本。 但是当我将集群与databricks-connect一起使用时，集群没有运行。 有没有办法检查是否有人使用 databricks-connect 连接到集群？ ...

如何使用 Databricks CLI 使用 Job Id 获取 Run id

[英]How to get the Run id's using Job Id using Databricks CLI

我尝试使用 CLI 上的databricks runs list获取运行 ID，但没有获得每天运行的所有作业的运行 ID，我只有前 20 个运行 ID，但随后我使用databricks jobs list --output json现在我想使用作业 ID 获取所有作业的运行 ID。 请帮我解决这个 ...

IllegalArgumentException：此服务需要项目 ID，但无法从构建器或环境中确定

[英]IllegalArgumentException: A project ID is required for this service but could not be determined from the builder or the environment

我正在尝试将 BigQuery 数据集连接到 Databrick 并使用 Pyspark 运行脚本。 我做过的程序： 我将 BigQuery Json API 修补到 dbfs 中的 databrick 以进行连接访问。 然后我在集群库中添加了 spark-bigquery-latest.jar 并 ...

Databricks 与 python 3 为 Azure SQl 数据库和 Z23EEEB4347BDD265DFC6B7EE9A3B7

[英]Databricks with python 3 for Azure SQl Databas and python

我正在尝试使用 Azure Databricks 来： 1-将行插入 Azure SQL 数据库与 python 的表中 3. 我看不到有关插入行的文档。 （我已使用此链接连接到数据库Doc并且它正在工作）。 2- 在我的数据湖中保存 Csv 文件 3- 如果可能，从 Dataframe 创 ...

Spark 会话未初始化 | sparkR.session() 给出错误“if (len > 0) { 错误：参数长度为零”

[英]Spark session is not getting initialized | sparkR.session() gives the error "Error in if (len > 0) { : argument is of length zero"

我目前正在使用托管在 databricks 集群外部的 Rstudio 服务器，并按照步骤配置 Databricks Connect。 连接测试也成功了。 但是当我使用下面的代码初始化一个 spark 会话时，它会抛出一个错误。 我什至尝试了下面的命令，但抛出了同样的错误： 警告 Nativ ...

使用 databricks-connect 安装时在本地使用 Pyspark

[英]Using Pyspark locally when installed using databricks-connect

我安装了 databricks-connect 6.6.0，它有一个 Spark 版本 2.4.6。 到目前为止，我一直在使用 databricks 集群，但我正在尝试切换到使用本地 spark 会话进行单元测试。 但是，每次运行它时，它仍然显示在集群 Spark UI 以及 xxxxxx:4040 ...

如何在新的数据块连接中正确使用 sql/hive 变量

[英]How to proper use sql/hive variables in the new databricks connect

我正在测试新的数据块连接，我经常在数据块上的 python 脚本中使用 sql 变量，但是我无法通过 dbconnect 使用这些变量。 下面的示例在数据块中运行良好，但在 dbconnect 中运行不正常： 在 dbconnect 中，我收到以下信息： 那么，有没有人设法使这些变量起作用？ 谢谢 ...

Dockerfile 无法复制指定的本地目录和文件

[英]Dockerfile can't copy specified local directory & file

几天以来尝试了很多让它工作，但因为我无法放弃对 SO 的查询来澄清它。 所以，我关注了我想为其构建 dockerfile 的项目结构。 从上面的项目结构中可以看出，我有 2 个我关心的文件。 lib 中的jars和文件.databricks-connect 这些本质上是我在本地系统上使用 ...


排序:
质量:
 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM