[英]Databricks Delta table load take long time to load 1 recod
每当 databricks 笔记本运行时，我都会尝试将 1 条记录插入到增量表中，但这大约需要 70 秒。 我将 start_time 作为变量传递。
val batchDf= Seq((1000, 40, start_time, null, null, status)).toDF("Key", "RunId", "Start_Time", "End_Time", "Duration", "In-progress")
batchDf.write.format("delta").mode("append").saveAsTable("t_audit")
知道为什么将 1 条记录加载到增量表中需要这么长时间吗？ 我希望这将在不到 5 秒的时间内完成。
与我在过去 30 年中使用的任何东西相比，Databricks 的速度非常慢，但在您的情况下，它可能与自动优化有关
循环文件夹内的文件并使用数据块将数据加载到增量表中
[英]Looping the files inside the folder and load data into delta table using databricks
在数据块中加载增量表特定分区的最佳实践是什么？
[英]What is the best practice to load a delta table specific partition in databricks?
databricks 中的 Delta 湖 - 为现有存储创建表
[英]Delta lake in databricks - creating a table for existing storage
如何使用 for 循环将多个镶木地板文件加载到增量表中？
[英]How to load multiple parquet files into a delta table using a for loop?
如何获取流增量表的快照作为 Databricks 中的 static 表？
[英]How to get a snapshot of a streaming delta table as a static table in Databricks?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.