Databricks - 更改 hive 表中的复杂数据类型
[英]Databricks - alter complex data type in hive table
我有一个增量表，它在 Databricks 中按以下结构分区 我正在尝试在 Group.Computer 下添加一个新的结构字段。 预期架构： 我正在尝试使用下面的 alter 命令来做到这一点 但是我收到如下错误： 如何更改数据块中现有表的复杂数据类型？ ...
Python 异常消息 Escaping <=> 字符
[英]Python Exception Message Escaping <=> character
我和我的同事正在编写一些代码，为我们在 Python 中构建的库的用户生成 SQL 合并字符串，以便在 Azure Databricks 环境中运行。 这些函数通过我们编写的称为 DebugMode 的自定义异常提供 SQL 字符串。 我们遇到但我找不到满意答案的问题是，为什么在打印 DebugMo ...
期货在 [5 秒] 后超时
[英]Futures timed out after [5 seconds]
赏金明天到期。 此问题的答案有资格获得+50声望赏金。 GregGalloway正在从信誉良好的来源寻找答案。 在具有以下配置的作业集群上： 我们大约有 5% 的时间Futures timed out after [5 seconds]并在底部看到堆栈跟踪。 我希望堆栈跟踪足以让某人告诉我应该调 ...
Azure Databrickd:- PythonException: 'RuntimeError: 标量迭代器 pandas UDF 中 output 的长度应与输入相同；
[英]Azure Databrickd:- PythonException: 'RuntimeError: The length of output in Scalar iterator pandas UDF should be the same with the input's;
环境：Azure Databricks 集群：11.3 LTS（包括 Apache Spark 3.3.0、Scala 2.12） 我有pandas_udf ，它为 4 行工作，但我尝试了 4 行以上的错误。 PythonException: 'RuntimeError: 标量迭代器 panda ...
嵌套 web 与 beautifulSoup 抓取
[英]nested web scraping with beautifulSoup
我想从下面提供的 url 下载“最新文件” 我要下载的文件位于以下确切位置 例如文件名是“表 1”，当我只得到上面的基数 URL 时，我如何下载它？ 使用 beautifulSoup 我无法弄清楚如何通过 html 页面中的嵌套 URL 找到我需要下载的那个。 ...
PySpark 结构化流式读取Kafka到delta表
[英]PySpark structured streaming read Kafka to delta table
探索 PySpark 结构化流和数据块。 我想编写一个 spark structural streaming 作业来读取 kafka 主题中的所有数据并发布到增量表。 假设我使用的是最新版本并且 kafka 具有以下详细信息。 kafka 主题名称：ABC kafka 经纪人：localhost: ...
是否可以自动为 Databricks 中新创建的组件的组分配权限？
[英]Is it possible to assign permissions automatically to groups for newly created components in Databricks?
我已经为现有的 Azure databricks 组件（即集群和作业）分配了一些权限给 databricks 组。 我们是否可以通过任何方式自动为新创建的集群和作业分配权限？ 我注意到在线文档表明我们只能为现有组件分配权限。 想象一下，如果我们添加新工作并且任何人都可以访问它并运行它，我理解。 我 ...
Delta 表中的架构更改 - 如何在不覆盖的情况下从表架构中删除分区？
[英]Schema change in Delta table - How to remove a partition from the table schema without overwriting?
给定一个 Delta 表：CREATE TABLE IF NOT EXISTS mytable ( ... ) USING DELTA PARTITIONED BY part_a, part_b, part_c LOCATION '/some/path/' 该表已经有大量数据。 但是，所需的架 ...
PySpark 代码修改以删除空值
[英]PySpark Code Modification to Remove Nulls
我收到了以下 PySpark 的帮助，以防止在 Databricks 中进行合并时出错，请参见此处 Databricks 错误：无法执行合并，因为多个源行匹配并试图以增量表冲突方式修改同一目标行我想知道我是否可以获得帮助来修改代码以删除 NULL。 谢谢 ...
处理 pySpark 中非常小的 static 表
[英]Dealing with very small static tables in pySpark
我目前正在使用 Databricks 处理来自我们的 Azure 数据湖的数据。 大部分数据被读入 pySpark 数据帧，并且是相对较大的数据集。 但是，我必须对较小的 static 表执行一些连接以获取其他属性。 目前，我能做到这一点的唯一方法是将那些较小的 static 表也转换为 pySpa ...
使用通配符从路径读取文件不起作用 - Databricks JSON
[英]reading files from path with wildcard does not work - Databricks JSON
尝试使用以下代码从数据块中读取 JSON 文件 这很有效，但问题是我想使用通配符，因为有多个文件夹和文件。 最好让下面的代码工作 当我使用 spark 读取 JSON 时，通配符工作得很好。 但我更喜欢上面的选项 ...
无法在数据块中使用 R 读取文件
[英]unable to read file using R in databricks
我正在尝试从 blob 存储读取一个 hash 文件 whis 已经有一个挂载点，即 /mnt/home。 在此处输入图像描述我可以看到文件位于同一个挂载点下： 在此处输入图像描述我正在使用 R 来读取数据块中的文件，查询如下 但是我遇到以下错误消息： 我能得到一些解决问题的建议吗 ...
如何使用 SQL 获取数组中的特定值
[英]How to get a specific value with in array using SQL
我在“X”列下有以下数组。 我正在尝试使用 Spark SQL 在 task_type 为“sizeScale”时获取 task_due_date。 我试图将数组分解为一个单独的表并将其连接到原始表。 还有其他直接的选择吗？ ...
Databricks API - 实例池 - 如何在启用光子的情况下创建？
[英]Databricks API - Instance Pool - How to create with photon enabled?
我正在尝试使用数据块 api 创建一个实例池，我需要启用光子，在文档中我找不到启用它的参数，有人知道该怎么做吗？ 我使用了这个文档， https://docs.databricks.com/dev-tools/api/latest/instance-pools.html#create 这是我的有效 ...
如何使用 Databricks Data Explorer 从 Databricks 中删除表
[英]How to Delete Table from Databricks with Databricks Data Explorer
我刚刚启动了我的集群，我正准备删除一个表，就像我经常在数据工作区中所做的那样。 但是，似乎 Databricks 已经更改了那里的界面，我现在不确定如何在不编写代码的情况下删除表。 有人可以告诉我如何使用 Data Explorer 删除表格吗？ 例如，我想在没有 Data Explorer 的情况 ...
如何将包含json的字符串列转换为pyspark中的字典类型列
[英]How to convert a string column which contains json to dictionary type column in pyspark
这是一个包含三列字符串类型的示例表。 其中一列在所有行中包含 json。 要在 dataframe 上应用以下 function，我想将 json 值列转换为字典类型。 Json 值列包含嵌套的 json。 基本上要求是将下面的源表转换为目标表。 源和目标数据帧注意：json 值的架构不固定。 ...
在 DATABRICKS 中运行 python 代码时出现此错误
[英]Getting this error when running the python code in DATABRICKS
错误 代码 大 JSON 文件的样本 JSON 文件 嗨，我正在尝试将一个大的 json 文件分成两种格式，这是通过上面的代码完成的。 但是它没有说在加载文件的最后缓存 i used.cache() 但仍然出现此错误。 请让我知道如何解决此错误。 ...
创建表时，哪个 Parquet 文件数据块将引用架构
[英]Which Parquet file databricks will refer for schema while creating a table
我正在使用以下语法在 ADLS 镶木地板文件之上的 azure 数据块中创建一个外部表。 如果不存在 <table_name> 使用镶木地板位置 'abfss://@' 创建表此语法将自动推断 parquet 文件的模式并创建外部表，现在我的问题是当指定位置有多个文件可用时（特别是当文件 ...
如何将 .sqlite 文件中的数据提取到 Databricks Spark 中？
[英]How can I pull data from a .sqlite file into Databricks Spark?
我在 Kaggle 上找到了一个我喜欢的数据集，但是唯一的下载选项是包含三个表的 .sqlite 文件。 无论如何我可以从 Databricks 访问这些数据吗？ ...
具有格式（增量）的 streamWriter 未生成增量表
[英]streamWriter with format(delta) is not producing a delta table
我在数据块中使用 AutoLoader。 但是，当我将 stream 保存为增量表时，生成的表不是增量表。 为什么生成的表不是增量格式？ 如果我尝试使用spark.read(table_name)读取表，它可以工作，但如果我尝试使用 Redash 或内置数据块的“数据”选项卡，它会产生错误，并且架构 ...