标签[databricks] 第6页 - 堆栈内存溢出

[英]Databricks init script to install Datadog not working

我正在尝试按照本指南在集群范围的初始化脚本中安装和配置 Datadog 代理。该脚本实际上并没有启动它创建的用于实际安装和配置 Datadog 的子脚本。这是从上述博客文章导入的笔记本生成的脚本：#!/bin/bash echo "Running on the driver? $DB_IS_D ...

Databricks/Spark 从 Parquet 文件中读取自定义元数据

[英]Databricks/Spark read custom metadata from Parquet file

我在文件级别创建了一个包含自定义元数据的 Parquet 文件：现在，我正在尝试从 (Azure) Databricks 中的 Parquet 文件中读取该元数据。但是当我运行以下代码时，我没有得到那里存在的任何元数据。 ...

Delta live table - 设置checkpoint目录，设置ignoreChanges为true

[英]Delta live table - set checkpoint directory, set ignoreChanges to true

我正在将一个简单的管道迁移到 DLT 以测试 dlt 功能。我运行apply_changes()将 dataframe 与更新合并到 Azure 存储中的现有 df 中。我收到以下错误： Detected a data update (for example part-00000-059cae ...

Databricks Unity Catalog 同一区域的多个元存储

[英]Databricks Unity Catalog multiple metastore for same region

我们有 3 个数据块工作区，一个用于开发，一个用于测试，一个用于生产。所有这些工作区都位于西欧同一地区。我们所有的数据都在数据湖中，这意味着数据块中的外部表引用数据湖（Azure 数据湖第 2 代）中的数据。因此，这些工作区中的每一个都有与之关联的不同数据湖（因为它们适用于不同的环境）。现在 ...

如何使用正则表达式解决这个 Pyspark 代码块

[英]How to solve this Pyspark Code Block using Regexp

我有这个 CSV 文件但是当我运行我的笔记本正则表达式时显示一些错误结果我得到了这个任何人都可以即兴创作这段代码，这将是一个很大的帮助。预计 output 是|��123456��,��Version2��,��All questions have been answered accurat ...

Databricks 回购与工作区

[英]Databricks Repo vs Workspace

我注意到在 Databricks 中，有一个“Workspace”文件夹部分和一个“Repos”文件夹 - 如下所示：我一直在尝试在线研究有什么区别，但没有运气。好像他们的目的是一样的？我能够管理两者的源代码。两者之间有什么区别吗？是否有任何我应该使用的最佳实践——尤其是当我与团队合作时 ...

pyspark - autoloader->writesteam 中的分区选项会为现有表数据分区吗？

[英]pyspark - will partition option in autoloader->writesteam partitioned for existing table data?

我使用自动加载器读取数据文件并通过以下代码定期将其写入表（一开始没有分区）：现在数据量越来越大，想通过添加这个选项“.partitionBy(“col1”)”对数据进行分区请问这个option partitionBy("col1") 是否会对表中已有的数据进行分区？如果不是，如何对所有数据进 ...

如何从 Databricks 中的不同笔记本获取查询

[英]How to get a query from a different notebook in Databricks

我在这里的第一篇文章:) 所以我遇到了一个问题：/ Working with Databricks (db) 我知道如何使用 %run 在 db 中执行不同的笔记本但是我有两个问题：笔记本 1 有一个查询，笔记本 2 有一个需要该查询的 function，我如何在那边输入该查询？我只尝试了 %r ...

Azure Databricks：对于 dataframe 中的每条记录，在另一个 dataframe 中找到相同的记录，插入缺失的记录

[英]Azure Databricks: For each record in a dataframe find the same in another dataframe, insert missing record

我有一个 dataframe df_calendar，其中包含 2 列月份和年份。我还有另一个 dataframe df_stock，其中包含 4 列月份、年份、工厂、库存。假设 df_calendar 中有 2022 年的 12 条记录，我想检查 df_calendar 中存在的每个月的 df ...

如何将数据从 Azure Databricks SQL 加载到 GCP Databricks SQL

[英]How to load data from Azure Databricks SQL to GCP Databricks SQL

有没有一种简单的方法可以将数据从 Azure Databricks Spark DB 加载到 GCP Databricks Spark DB？ ...

Databricks 开发团队的集群数量的行业标准是什么？

[英]What is the industry standard for number of clusters for a development team in Databricks?

我是一个由 5 名开发人员组成的团队的一员，他们在 Azure Databricks（基本上是数据科学和数据工程的结合）中收集数据、转换、分析和预测数据。到目前为止，我们一直在处理相对较小的数据，因此 5 人团队可以轻松地使用具有 8 个正在开发的工作节点的单个集群。尽管我们有 5 个开发人员 ...

有没有办法加快spark dataframe到pandas dataframe的转换？

[英]Is there a way to speed up the conversion of spark dataframe to pandas dataframe?

我尝试使用 pyspark 在数据块笔记本中将 spark dataframe 转换为 pandas。它需要永远运行。有一个更好的方法吗？有超过 600,000 行。 df_PD = sparkDF.toPandas() df_PD = sparkDF.toPandas() ...

如何重写 pandas.rolling().rank(method='average')

[英]How to rewrite pandas.rolling().rank(method='average')

我必须将 Pandas 重写为 Spark。我对这部分代码有疑问：知道有 percent_rank() 但当我想计算最后 65/130/260..（天）并想使用 rowsBetween/rangeBetween 时可以使用它。有谁知道如何解决这个问题？感谢帮助。 ...

使用 Databricks 连接将 Pyspark 项目开发表单 Databricks UI 移动到 VSCode

[英]Moving a Pyspark project development form Databricks UI to VSCode using databricks connect

我继承了一个巨大的 pyspark 项目，而不是使用 Databricks UI 进行开发，我想通过 databricks-connect 使用 vscode。因此，我无法确定以下方面的最佳做法：因为项目文件在 repos 中保存为 .py，所以当我使用 VSCode 打开它们时，它无法识别 ...

AttributeError: 'DataFrame' object 没有属性 'write'...尝试将 dataframe 上传到 Databricks 中的表

[英]AttributeError: 'DataFrame' object has no attribute 'write'...Trying to upload a dataframe to a table in Databricks

我在数据块中创建了一个 dataframe 作为多个数据帧的组合。我现在正在尝试将该 df 上传到我数据库中的一个表，并且我之前多次使用此代码没有问题，但现在它不起作用。我的代码是收到错误：AttributeError: 'DataFrame' object has no attribute ...

将数据块 pyspark df 作为一个文件保存到 blob 存储中，该文件被命名并覆盖

[英]Saving databricks pyspark df to blob storage as one file that is named and overwrites

如前所述，我们正在尝试将 pyspark df 作为单个 csv 文件保存到 blob 存储。我们试过coalesce 。然而，由于这可能产生 memory 错误，我们不愿意在更大的环境中坚持使用它。使用.toPandas().to_csv(f"/dbfs/filePath.csv")会产生文 ...

如何使用 pyspark 只比较 2 个数据框的列名？

[英]How to compare only the column names of 2 data frames using pyspark?

我有 2 个具有匹配和不匹配列名的数据框，我想比较两个框架的列名并打印具有不匹配列名的表/数据框。请有人帮我解决这个问题我不知道我怎样才能做到这一点下面是期待 DF1： DF2： Output： Output 应该实际与不匹配的列名称 ...

无法使用 python 从 Azure 数据湖中加载 tensorflow keras model

[英]Trouble loading tensorflow keras model in databricks from Azure data lake using python

我有一个 model，我保存在 azure 数据湖中容器中的 project_name 中。从数据块加载 tensorflow model 时遇到问题。正如我之前在 jupyter notebook 中测试的那样，一切都已经运行良好。我必须迁移数据块中的代码。这是我运行的代码。这是我得到 ...

如何在 cloud_files 中配置 Delta Live Table 的路径

[英]How to configure path for Delta Live Table in cloud_files

我是 Databricks Delta Live 表的新手。我有一些小疑问，需要您的帮助来理解其背后的概念。没有这个我无法继续。我在 Azure 数据湖容器中有一个文件，我知道我需要在“cloud_files”下提供路径，以便 delta live table 可以从该文件夹中读取文件并显示它 ...

'DeltaMergeBuilder' object 没有属性 'WhenNotMatchedInsert'

[英]'DeltaMergeBuilder' object has no attribute 'WhenNotMatchedInsert'

在与 deltatable 合并时出现以下错误。 'DeltaMergeBuilder' object 没有属性 'WhenNotMatchedInsert'from delta.tables import * delta_df = DeltaTable.forPath(spark,"dbfs: ...