从 Oracle 数据库获取数据时，PySpark 引发错误 (ORA-00933)
[英]PySpark is raising error (ORA-00933) when fetching data from Oracle Database
语境我正在使用 Databricks 连接到 Oracle 数据库并每天获取数据。 我们在 PySpark 中使用以下示例代码来验证和访问数据库： 然后我们使用以下命令通过 SQL 代码访问信息： 问题今天我们意识到这种方法会引发如下错误： SQLSyntaxErrorException: OR ...
Pyspark - 将结构为 arrays 的列扩展到新列中
[英]Pyspark - Expand column with struct of arrays into new columns
我有一个 DataFrame，它有一个单列，它是一个结构类型并包含一个数组。 我正在尝试将 CustomFields 数组列转换为 3 个三列： 国家; 是外部的； 服务。 因此，例如，我有这些值： 并且除该行之外的最终 dataframe output 将是： 谁能帮我实现这个目标？ 谢谢！ ...
如何使用 Apache Spark 将具有两位数日期的字符串转换为正确的日期？
[英]How would I convert a string with a two digit date to the correct date with Apache Spark?
如果您在 Spark SQL 中运行任何类型的查询，它会将日期转换为未来日期。 基本上，任何你在逻辑上认为基于过去的东西都会被转换成未来的日期。 例如，如果您执行如下简单语句： select to_date('1/1/94', 'm/d/yy') 您将获得： 2094-01-01 除了后处理（从未 ...
无法在 Databricks 上读取和写入 xmal 文件
[英]unable to read and write xmal file on Databricks
<pre> %python spark.conf.set("fs.azure.account.key.XXXXXX.dfs.core.windows.net","XXXXXXXXXXXXX") df = spark.read \.format("com.databricks.spark ...
DataBricks中使用python无法成功划分JSON文件
[英]Unable to successfully divide the JSON file using python in DataBricks
您好，我正在编写一个 DATABRICKS Python 代码，它选择巨大的 JSON 文件并将其分为两部分。 这意味着从一个文件的索引 0 或“reporting_entity_name”到索引 3 或“版本”，从另一个文件的索引 4 到最后。 虽然它成功地将文件与 json 文件的索引 1 分开 ...
行到 dataframe in Python
[英]Rows to dataframe in Python
我有以下格式的一些数据 我想将其转换为 dataframe，其列名基本上如下所示： 我想要的 output 应该像下面这样 我尝试了几种方法来转换这些行，但不知道如何我试过的代码如下 上面给出了一个 output，每个单元格都包含一个列表。 请任何帮助。 ...
Databricks 是否提供类似 Oracle 的 dblink 的东西？
[英]Does Databricks offer something like Oracle's dblink?
我知道，我可以使用 JDBC 将任何内容加载到 DataFrame 中，这在 Oracle 源中运行良好。 Spark SQL 中是否有等效项，因此我也可以合并数据集？ 基本上是这样的——你明白了…… ...
在 SQL 视图中添加 Unique Identifier 列
[英]Add Unique Identifier column in SQL View
我在 Databricks 中使用 SQL，我有一个表格视图，如下所示： 我想创建一个从 100 开始递增 1 的列，这样我得到的数据如下所示： 我试过将代码与IDENTITY(100,1)和AUTO_INCREMENT函数一起使用，但我认为它们不适用于 SQL 视图和/或数据块。 如果有人有任何想 ...
用于蒙特卡罗模拟的云计算
[英]Cloud Computing for Monte Carlo Simulation
我使用我的桌面运行 1000 个 sims 需要 30 个小时的蒙特卡洛模拟。 有没有人使用 azure、databricks 或任何其他云工具来显着提高速度/运行时间？ 我正在考虑并行化，但正在努力寻找可以帮助解决此问题的库或包。 有没有人在这方面有任何想法或经验？ ...
WHEN NOT MATCHED BY SOURCE 在“BY”处或附近出现语法错误（DBR 11.2 ML）
[英]WHEN NOT MATCHED BY SOURCE Syntax error at or near 'BY' (DBR 11.2 ML)
我尝试执行下面的SQL语句，但出现了异常。 基于这个文档，上面的语句确实遵循了语法参考。 或者此语法不适用于 DBR 11.2 ML？ 我试图包括WHEN NOT MATCHED BY TARGET并且也引发了异常。 ...
Databricks Deduplicaton PySpark 代码删除表中的所有行
[英]Databricks Deduplicaton PySpark Code Removing All Rows in Table
我得到了有关重复数据删除问题的帮助，我必须使用 Pyspark 删除数据块中的重复行。 我执行代码的dataframe如下： ID 创建于 SinkModifiedOn 标题排版 e64650d3-94fb-ec11-82e6-0022481b14fc 04/07/2022 16/01/202 ...
如何可靠地获取delta表的分区列
[英]How to reliably obtain partition columns of delta table
我需要获取 delta 表的分区列，但是DESCRIBE delta.`my_table`的返回结果在 databricks 和本地 PyCharm 上返回不同的结果。 最小的例子： 在数据块上显示分区列： 但是当在 PyCharm 中本地运行时，我得到以下不同的 output： 解析这两种类型的返 ...
数据流/批处理的最佳实践
[英]Best practices for streaming/batching of data
我正在将数据从我的 IoT 中心路由到数据湖，我已经尝试使用 Databricks 来处理数据，但我不确定接收数据的最佳做法是什么，并尝试了两种选择： 选项 #1 流媒体 spark.readStream工作得很好，但与当时批处理 1000 条消息相比，它是否具有成本效益？ 选项 #2 流媒体使用 ...
pyspark 分区为每个分区创建一个额外的空文件
[英]pyspark partitioning create an extra empty file for every partition
我在 Azure Databricks 中遇到一个问题。 在我的笔记本中，我正在执行带分区的简单写入命令： 我看到这样的事情： 有人可以解释为什么 spark 为每个分区创建这个额外的空文件以及如何禁用它吗？ 我尝试了不同的写入模式、不同的分区和 spark 版本 ...
在数据块中将 spark df 写为单个镶木地板文件
[英]write out spark df as single parquet files in databricks
我有一个像下面这样的 df 文档名称 col1 列2 文件1 1个 1个文件1 1个 1个文件2 2个 2个文件2 2个 2个我需要将其保存为按文件名分区的镶木地板。当我使用 df.write.partitionBy("Filename").mode("overwrite").parquet ...
Databricks Lakehouse Medallion 架构 Python 样本
[英]Databricks Lakehouse Medallion Architecture Python Sample
有谁知道 python Python 中关于大奖章架构的示例？ 像这样的样本在 SQL https://www.databricks.com/notebooks/delta-lake-cdf.html ...
ConnectException: Connection refused (Connection refused) Error while obtaining a new communication channel。 数据块笔记本中的错误
[英]ConnectException: Connection refused (Connection refused) Error while obtaining a new communication channel. error in databricks notebook
在 python 数据块笔记本中运行 python 代码（ML 模型）时，我遇到以下错误消息 ConnectException: Connection refused (Connection refused) 获取新的通信通道时出错 ConnectException 错误：这通常是由 OOM 错误引 ...
写入分区表时的性能命中
[英]Performance Hit when writing into the partitioned Tables
有人可以帮忙解释一下为什么当桌子很小的时候桌子写起来要花太多时间吗 ...
在 Databricks 中格式化 Y2K 日期值
[英]Formatting a Y2K date value in Databricks
1901 年 1 月 1 日转换为 2001 年 1 月 1 日是错误的。 这在 Databricks 中是如何完成的？ ...
dbx 从 azure artifacts / private pypi 执行安装
[英]dbx execute install from azure artifacts / private pypi
我想使用 dbx execute 在 azure databricks 集群上运行任务/作业。 但是，我无法让它安装我的代码。 有关情况的更多详细信息： 带有 setup.py 的项目 A 依赖于项目 B 项目 B 也是基于 python 并作为 azure devops 神器发布的我可以通过在 a ...