堆栈内存溢出
cost 74 ms
在 Spark 数据框中分解嵌套结构

[英]Exploding nested Struct in Spark dataframe

我正在研究一个 Databricks 示例。 数据框的架构如下所示： 在示例中，他们展示了如何将员工列分解为 4 个附加列： 我将如何对部门列做类似的事情（即向名为“id”和“name”的数据框添加两个额外的列）？ 方法并不完全相同，我只能弄清楚如何使用以下方法创建全新的数据框： 如果我 ...

Apache Spark + Delta Lake 概念

[英]Apache Spark + Delta Lake concepts

我对 Spark + Delta 有很多疑问。 1) Databricks 提出了 3 层（青铜、银、金），但推荐用于机器学习的哪一层，为什么？ 我想他们建议在金层中清理并准备好数据。 2）如果把这3层的概念抽象出来，我们能不能把青铜层看成数据湖，银层看成数据库，黄金层看成数据仓库？ 我的 ...

Azure Databricks - 无法创建托管表关联的位置已存在

[英]Azure Databricks - Can not create the managed table The associated location already exists

我在 Azure Databricks 中遇到以下问题。 有时当我尝试将 DataFrame 保存为托管表时： 我收到以下错误： “无法创建托管表（' SomeData '）。关联的位置（'dbfs:/user/hive/warehouse/somedata'）已经存在。” 我曾经通 ...

“Determining location of DBIO file fragments...”是什么意思，我该如何加快速度？

[英]What does "Determining location of DBIO file fragments..." mean, and how do I speed it up?

在 Databricks 中运行简单的 SQL 命令时，有时我会收到消息： 确定 DBIO 文件碎片的位置。 此操作可能需要一些时间。 这是什么意思，我如何防止它每次都必须执行这个看似昂贵的操作？ 即使所有基础表都是增量表，也会发生这种情况。 ...

Plot Spark Dataframe 无需将其转换为 Pandas 的方法

[英]Ways to Plot Spark Dataframe without Converting it to Pandas

有没有办法从Spark dataframe获取plot信息而不将dataframe转换为pandas？ 做了一些在线研究，但似乎找不到方法。 我需要将这些图自动保存为 .pdf，因此使用 databricks 的内置可视化工具将不起作用。 现在，这就是我正在做的（例如）：# df = some Sp ...

如何解决这个错误 org.apache.spark.sql.catalyst.errors.package$TreeNodeException

[英]How to solve this error org.apache.spark.sql.catalyst.errors.package$TreeNodeException

我有两个进程，每个进程执行 1）连接 oracle db 读取特定表 2）形成数据帧并处理它。 3）将df保存到cassandra。 如果我同时运行两个进程，则两者都尝试从 oracle 读取数据，并且在第二个进程读取数据时出现错误 我在这里做错了什么？ 如何解决这个问题？ ...

Databricks - 如何更改现有增量表的分区？

[英]Databricks - How to change a partition of an existing Delta table?

我在 Databricks delta 中有一个表，它由transaction_date分区。 我想将分区列更改为view_date 。 我尝试删除表，然后使用PARTITIONED BY (view_date)使用新的分区列创建它。 但是我的尝试失败了，因为实际文件驻留在 S3 中，即使我删除 ...

Databricks：将 dbfs:/FileStore 文件下载到我的本地计算机？

[英]Databricks: Download a dbfs:/FileStore File to my Local Machine?

我正在使用 saveAsTextFile() 将 Spark 作业的结果存储在文件夹 dbfs:/FileStore/my_result 中。 我可以使用 web 浏览器访问不同的“part-xxxxx”文件，但我想自动化将所有文件下载到我的本地计算机的过程。 我曾尝试使用 cURL，但找不到下载 ...

Databricks 删除增量表？

[英]Databricks drop a delta table?

如何在 Databricks 中删除 Delta 表？ 我在文档中找不到任何信息......也许唯一的解决方案是使用魔法命令或 dbutils 删除文件夹“delta”中的文件： 编辑： 为了澄清起见，我在这里举了一个非常基本的例子。 例子： 并将其保存在 Delta 表中 然后，如果我尝试删除它 ...

如何将数据从 dataframe 导出到文件 databricks

[英]How to export data from a dataframe to a file databricks

我现在正在 EdX 上介绍 Spark 课程。 是否有可能在我的计算机上保存来自 Databricks 的数据帧。 我在问这个问题，因为本课程提供的 Databricks 笔记本在课程结束后可能无法使用。 在 notebook 中使用命令导入数据： log_file_path = 'dbfs:/ ...

Databricks：如何获取当前笔记本的路径？

[英]Databricks: How do I get path of current notebook?

Databricks 非常智能，但是您如何识别当前笔记本的路径？ 网站上的指南没有帮助。 它建议： 这并没有给我完整的路径，而是给我一些无法从笔记本访问的文件夹结构的路径。 我需要路径，以便我可以在与.ipynb文件相同的文件夹中进行系统调用。 有什么建议？ ...

Delta Lake 回滚

[英]Delta Lake rollback

需要一种优雅的方式将 Delta Lake 回滚到以前的版本。 我目前的方法如下： 但这很丑陋，因为需要重写整个数据集。 似乎一些元更新就足够了，不需要数据 I/O。 有人知道更好的方法吗？ ...

如何在databricks文件系统中移动相同扩展名的文件？

[英]How to move files of same extension in databricks files system?

当我尝试在 DBFS 中使用 * 移动文件时，我遇到了文件未找到异常。 这里源目录和目标目录都在 DBFS 中。 我在 dbfs 目录中有名为“test_sample.csv”的源文件，我正在使用笔记本单元格中的如下命令， 错误： 我很感激任何帮助。 谢谢。 ...

2018-06-08 13:18:23   4   15740    databricks  
如何将 xlsx 或 xls 文件读取为 spark dataframe

[英]How to read xlsx or xls files as spark dataframe

任何人都可以在不转换 xlsx 或 xls 文件的情况下让我知道我们如何将它们读取为火花 dataframe 我已经尝试使用 pandas 进行读取，然后尝试转换为 spark dataframe 但出现错误，错误是错误： 代码： ...


排序:
质量:
 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM