[英]Databricks Delta table load take long time to load 1 recod
每當 databricks 筆記本運行時，我都會嘗試將 1 條記錄插入到增量表中，但這大約需要 70 秒。 我將 start_time 作為變量傳遞。
val batchDf= Seq((1000, 40, start_time, null, null, status)).toDF("Key", "RunId", "Start_Time", "End_Time", "Duration", "In-progress")
batchDf.write.format("delta").mode("append").saveAsTable("t_audit")
知道為什么將 1 條記錄加載到增量表中需要這么長時間嗎？ 我希望這將在不到 5 秒的時間內完成。
與我在過去 30 年中使用的任何東西相比，Databricks 的速度非常慢，但在您的情況下，它可能與自動優化有關
循環文件夾內的文件並使用數據塊將數據加載到增量表中
[英]Looping the files inside the folder and load data into delta table using databricks
在數據塊中加載增量表特定分區的最佳實踐是什么？
[英]What is the best practice to load a delta table specific partition in databricks?
databricks 中的 Delta 湖 - 為現有存儲創建表
[英]Delta lake in databricks - creating a table for existing storage
如何使用 for 循環將多個鑲木地板文件加載到增量表中？
[英]How to load multiple parquet files into a delta table using a for loop?
如何獲取流增量表的快照作為 Databricks 中的 static 表？
[英]How to get a snapshot of a streaming delta table as a static table in Databricks?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.