如何将字符串转换为数据块中各种长度的日期？

[英]How to convert string to date of various length in databricks?

我有一个不同长度的字符串，例如11/8/16和1/27/16 。 格式是Month/Day/Year ，如何将它们转换为日期？ 我尝试了 MM、mm、DD 等的各种组合，但无法正常工作。 ...

我需要做哪些更改才能为 DATABRICKS 更改此 python 代码

[英]What changes i need to do so that i can Change this python code for DATABRICKS

您好，这是我在本地机器上开发的 python 代码，但现在我正尝试在 DATABRICKS 上使用此代码。 但我是 DATABRICKS 的新手，所以不知道我该怎么做。 我想做的是我有一个巨大的 JSON 文件样本，我将它分成两部分，一个包含标题，第二个文件包含所有细节。 这是我的本地机器 pyth ...

对 delta 表寄予厚望

[英]great expectation with delta table

我正在尝试在 Databricks 的增量表上运行一个很好的期望套件。 但是我想通过查询在表的一部分上运行它。 尽管验证运行良好，但它是在完整的表数据上运行的。 我知道我可以加载 Dataframe 并将其传递给批处理请求，但我想直接通过查询加载数据。 上面的批处理请求加载忽略查询选项的数据。 有没 ...

Pyspark：满足一定条件时增加值

[英]Pyspark: adding incremented value when certain condition is met

可能已经有一个简单的方法 / function 可以做到这一点，但这里有：我需要按条件过滤“delta”（比如 delta > 10，则该行无效），然后添加一个新列（比如“连续性” ") 每次在 "person" 上检测到 "delta" 中的无效行时，元素将递增 1。 输入 df: 人三角洲 ...

Spark badRecordsPath 没有按预期将记录写入路径

[英]Spark badRecordsPath is not writing records to the Path as expected

我有以下样本 csv 数据： ID 名称薪水 1个 “拉朱” 1000 2个 《乔达姆》 15000 3个 “基山” 30000 4个 “麦克风” 两百多最后一条记录中的工资字段已损坏。 我正在尝试使用 badRecordsPath 处理损坏的记录，如下面的代码所示。 但它不起作用。 ...

databricks - 在终端 'export DATABRICKS_CONFIG_FILE="dbfs:/FileStore/tables/partition.csv' 中执行命令时无响应

[英]databricks - no response when executing command in terminal 'export DATABRICKS_CONFIG_FILE="dbfs:/FileStore/tables/partition.csv'

我正在尝试按照本指南https://docs.databricks.com/dev-tools/cli/index.html导出 csv 文件，但是执行以下命令时没有响应，看起来直接存在命令而不说导出成功或失败。 我也按照指南在 mac 终端中输入主机和令牌，完成了 cli 和设置身份验证的安装。 ...

向 Databricks 中的 SCIM 配置的 AAD 组分配管理员角色时出错

[英]Error while assigning admin role to SCIM provisioned AAD groups in Databricks

我们使用 Azure 数据块并通过 terraform 进行管理。我们配置了 SCIM 连接器配置程序（AAD 企业应用程序）以将用户和组从 AAD 同步到数据块。 这很好用。 我可以将作业或集群权限分配给这些 SCIM 同步组，但是当我尝试将管理员角色（整个工作区管理员）分配给 SCIM 同步组时 ...

数据类型文本不支持

[英]datatype text not support

我有巨大的数据文件，其中一列是文本，并且在该列中有大量数据集。 我尝试创建具有文本数据类型的列，但它不受支持。 如何将文本数据类型的数据带到数据块中。 请指导 ...

使用 spark udf 无限执行

[英]Endless execution with spark udf

我想得到经纬度的国家，所以我使用了 geopy 并创建了一个样本 dataframe 然后创建一个udf 它起作用了，这就是结果 ，但是当我想将我的数据与架构一起使用时 和 400 万行，所以我使用 limit 和 select 最后，使用相同的udf 问题是，当我执行显示时，过程是无休止的，我不 ...

在 Databricks 中为参数化笔记本创建模式字典

[英]Create a dictionary of schemas in Databricks for a parameterized notebook

我在 Databricks 中有一个笔记本，如下所示。 我的问题如下：This notebook should parameterize the different csv files that can land in source 。 COMPANYX、COMPANYY 和 COMPANYZ 都 ...

如何使用 PySpark/Spark 流将数据并行合并到数据块增量表的分区中？

[英]How to parallelly merge data into partitions of databricks delta table using PySpark/Spark streaming?

我有一个 PySpark 流式管道，它从 Kafka 主题读取数据，数据经过各种转换，最后合并到数据块增量表中。 一开始，我们使用合并 function 将数据加载到增量表中，如下所示。 这个传入的 dataframe inc_df 包含所有分区的数据。 我们在表级别执行上述查询。 我在下图中给出 ...

Databricks 未在 blob 存储中将数据帧正确保存为 Parquet

[英]Databricks not saving dataframes as Parquet properly in the blob storage

我正在使用带有已安装 blob 存储的 Databricks。 当我执行我的 Python 笔记本创建大 pandas DataFrame 并尝试将它们存储为 .parquet 文件时，它们显示为 0 字节。 保存发生在我导入的子模块中，而不是在主笔记本本身中。 奇怪的是，将 dataframe ...

使用 azure 数据块 pyspark 访问 azure 文件

[英]access azure files using azure databricks pyspark

我正在尝试访问一个扩展名为 Rds 的文件。 我正在使用下面的代码，但它没有帮助。 ...

AttributeError: 'list' object 没有属性 'filter'

[英]AttributeError: 'list' object has no attribute 'filter'

我想在 Azure Databricks 中运行修复作业 (MSCK REPAIR TABLE)，但是我想排除 4 个表。 我究竟做错了什么？ 我收到以下错误消息： ...

无法使用数据块连接从 Windows 连接到数据块集群

[英]Unable to connect to databricks cluster from Windows using databricks-connect

我正在尝试在我的 windows 机器上设置数据块连接。 在进行 databricks-connect 测试时，我收到以下错误，抱怨找不到 java 证书。 '' 我安装了 java 1.8 我下载了浏览器证书并安装了 我使用以下命令安装了证书。 不过，我面临着同样的问题。 ...

azure 带结构流的数据块自动加载器

[英]azure databricks autoloader with structure streaming

我们面临着将流数据读写到目标位置的问题。 我们正在使用一些 JSON 遥测数据来跟踪步数。 每 5 秒就有新的数据文件登陆我们的三角洲湖。 需要一种自动摄取到三角洲湖中的方法。 ...

增量表中的自动递增列，无需重新加密

[英]Auto increment column in delta table without rekey

到目前为止，我有一个暗淡的增量表，我正在使用 row_number() + max(dim_id) 计算 dim_id。 暗号 | 用户身份 1001 | 1个 1002| 3个 1003 | 5个 1004 | 9 例如，如果我删除了 1004 id，然后插入一个新的 user_id，如 ...

如何在 Spark Scala 中将列数据类型转换为字符串？

[英]How do I convert a Column DataType to String in Spark Scala?

我正在尝试调用 from_json 方法并希望动态获取 JSON 的模式。 问题在于 third.withColumn 行，因为它似乎不喜欢 Seq[Column]。 错误：值 toDS 不是 Seq[org.apache.spark.sql.Column].withColumn("key", f ...

Databricks- Spark SQL 更新语句错误

[英]Databricks- Spark SQL Update statement error

这是一个非常简单的更新语句，适用于 SQL 服务器数据库，我已经在 Databricks 中重写了它，但它不起作用，你能提供你的建议吗？ ...

比较 Upsert 的两个版本的数据框并列出更改

[英]Compare the two versions of dataframes for Upsert and list out changes

我正在数据块中进行更新插入操作。 现在我想检查两个更新插入操作之间发生了什么变化。 我原来的df1是这样的>> 我的 upserted df2看起来像这样 >> 我要这样的Output>> 这里的id是我的primary_key ...