安装 databricks 时创建本地 sparksession
[英]Create a local sparksession when databricks is installed
问题描述
我成功安装了databricks-connect，它对我来说工作正常，但由于某些原因，我想使用本地SparkSession，所以只需运行SparkSeesion.builder.getOrCreate() ，它将使用databricks集群而不是我的本地session笔记本电脑，请有任何想法，无需创建新的虚拟环境，
谢谢
1 个解决方案
解决方案1
0 2021-03-02 20:50:10
这是 Databricks 连接的默认行为 - 即使主服务器是本地的，它也始终使用远程执行程序。 但是你真的需要它来开发吗？ 标准方法可能是在本地使用 pyspark，并从 CI/CD 管道在 Databricks 上运行测试 - 这是由cicd-templates 项目演示的方法，其中单元测试使用 pyspark 在本地执行，集成测试 - 在 Databricks 集群上触发来自 CI/CD 管道
'SparkSession'对象没有属性'databricks'
[英]'SparkSession' object has no attribute 'databricks'
使用 databricks-connect 安装时在本地使用 Pyspark
[英]Using Pyspark locally when installed using databricks-connect
使用 databricks 运行时 ML 8.2 创建本地 conda 环境
[英]Create local conda environment with the databricks runtime ML 8.2
如何将已安装的 dbfs jar 文件从 databricks 集群下载到本地计算机？
[英]How to download an installed dbfs jar file from databricks cluster to local machine?
安装 azure-cosmos-spark maven 库时取消 Databricks 作业
[英]Databricks job is canceled when azure-cosmos-spark maven library is installed
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
为什么我不需要在 Databricks 中创建 SparkSession？
'SparkSession'对象没有属性'databricks'
使用 databricks-connect 安装时在本地使用 Pyspark
使用 databricks 运行时 ML 8.2 创建本地 conda 环境
如何将已安装的 dbfs jar 文件从 databricks 集群下载到本地计算机？
用于开发的 Databricks 本地实例
Databricks 访问本地笔记本
安装 azure-cosmos-spark maven 库时取消 Databricks 作业
在 Databricks 中创建 SQL 用户
Databricks 笔记本命令无法识别已安装的软件包
相关标签