堆栈内存溢出
cost 165 ms
在 Databricks Connect 和本地 Spark 环境之间切换

[英]Switching between Databricks Connect and local Spark environment

我希望使用 Databricks Connect 开发 pyspark 管道。 DBConnect 真的很棒，因为我能够在实际数据所在的集群上运行我的代码，因此它非常适合集成测试，但我也希望能够在开发和单元测试期间（ pytest和pytest-spark ），只需使用本地 Spark 环境。 有 ...

Databricks 笔记本 - Microsoft Azure - 附加到集群时自动完成功能不起作用

[英]Databricks Notebook - Microsoft Azure - Autocompletion is NOT working when attached to cluster

Databricks 笔记本 - Microsoft Azure - 当 databricks 笔记本连接到集群时，自动完成功能不起作用。 有人可以分享任何解决此问题的建议吗？ [已编辑] 我有几个集群，我看到自动完成的这种行为不仅仅适用于其中一个集群？ 关于何时发生这种情况的任何指示？ ...

与 Databricks 连接的本地 Databricks sc.broadcast() 等效

[英]Equivalent of Databricks sc.broadcast() locally with Databricks connect

我正在将一些代码从 Databricks 笔记本传输到本地的 Jupyter 笔记本中。 在 Databricks Notebook 中工作的以下代码在本地不起作用。 这是我的本地代码： 随着错误： 有什么替代 sc.broadcast() 的方法吗？ 我正在使用 Databrick ...

无法启动 Azure Databricks 群集

[英]Cannot start Azure Databricks cluster

我是 MS Azure 的新手。 我正在尝试下载 Microsoft Academic Graph 进行各种分析，但他们不提供批量下载结构化数据集。 openacademicgraph 等外部资源并不是很有用，所以我想我可以尝试通过 Azure 下载数据。 幸运的是，有相应的手册 - “在 Az ...

如何使用来自使用 databricks-connect 连接的 pycharm（本地 IDE）的 spark 列出 azure 数据湖中的文件

[英]How to list the files in azure data lake using spark from pycharm(local IDE) which is connected using databricks-connect

我正在 pycharm 上的本地机器上处理一些代码。 执行在 databricks 集群上完成，而数据存储在 azure datalake 上。 基本上，我需要列出 azure datalake 目录中的文件，然后对文件应用一些读取逻辑，为此我使用以下代码 上面的代码在 databricks ...

databricks-connect, py4j.protocol.Py4JJavaError: 调用 o342.cache 时发生错误

[英]databricks-connect, py4j.protocol.Py4JJavaError: An error occurred while calling o342.cache

与 databricks 的连接工作正常，使用 DataFrames 进行顺利（连接、过滤等操作）。 当我在数据帧上调用cache时出现问题。 我根据需要使用 java8，清除 pycache 无济于事。 作为作业提交给 databricks 的相同代码工作正常。 它看起来像是桥接 python ...

如何生成有效期超过 48 小时的 databricks 特权令牌

[英]How to generate a databricks privileged token which is valid more than 48 hours

想要运行连接到 Azure databricks 集群的本地 Jupiter notebook，并且需要使用 dbutils 来获取机密。 这需要在本地保存一个特权令牌，它只能持续 2 天。 有没有办法生成比这更长的令牌或在本地继续使用 dbutils 更长时间？ ...

创建范围以从 Databricks 访问 Azure Datalake Gen2 时出现属性错误

[英]Attribute error while creating scope to access Azure Datalake Gen2 from Databricks

我试图使用示波器进行设置，但遇到了一些问题。 任何帮助，将不胜感激。 我在 Databricks CLI 中运行了以下命令 已成功创建范围。 然后我尝试在我的笔记本中运行以下内容 此时出现错误。请参考下图 错误详情 ...

Spark DataFrame 到 ADW 表：无法插入字符 >4k 的列

[英]Spark DataFrame to ADW table: unable to insert column with chars >4k

我在 DataBricks 上有 spark dataframe，其列的字符长度 > 10,000。 我需要将其插入 Azure 数据仓库 (ADW) 表中，但如果列字符长度高于 4,000，则会出现错误。 错误：填充记录读取器缓冲区时遇到意外错误：HadoopSqlException：字符串 ...

使用 Databricks Connect 时如何正确访问 Scala 中的 dbutils

[英]How to properly access dbutils in Scala when using Databricks Connect

我正在使用 Databricks Connect 在我的 Azure Databricks 集群中从 IntelliJ IDEA (Scala) 本地运行代码。 一切正常。 我可以在 IDE 中进行本地连接、调试和检查。 我创建了一个 Databricks 作业来运行我的自定义应用程序 JAR，但 ...


排序:
质量:
 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM