簡體 English 中英

如何將增量表中的數據插入到變量中，以便對它們應用流口水規則

[英]how to insert the data from delta table to a variable in order to apply drools rule on them

原文 2022-09-27 08:00:17 3 1 scala/ apache-spark/ delta-lake

我正在使用帶有 scala 的 spark，其中我從 eventthubs 獲取流數據，然后將它們存儲在 delta 表中。 為了對它們應用流口水規則，我需要通過變量傳遞它們......我被困在我必須將數據從增量表獲取到變量的地方。

1 個解決方案

這實際上取決於您需要將哪些數據傳遞給該流口水規則，以及您需要返回什么。 您可以使用：

用戶定義的 function - 您定義將接收一個或多個參數（特定行的列值）的 function。 （更多例子）
使用Dataset的map function / Dataframe ZA2F2ED4F8EBC2CBB4C21A29DC40AB61D和示例來處理整個過程

如何使用 Spark Structured Streaming 將數據從 Kafka 主題流式傳輸到 Delta 表

[英]How to stream data from Kafka topic to Delta table using Spark Structured Streaming

在 Databricks 增量表中啟用更改數據饋送

[英]Enable Change Data Feed in Databricks Delta Table

將數據插入到具有更改架構的增量表中

[英]Data insertion into delta table with changing schema

如何向 Delta Lake 表添加新列？

[英]How to add a new column to a Delta Lake table?

如何向增量表中的 updateExpr 添加復雜邏輯

[英]How to add complex logic to updateExpr in a Delta Table

Apache Zeppelin從臨時表中選擇數據時的列順序錯誤，如何將特定列放在第一位？

[英]Order of the columns in Apache Zeppelin when selecting the data from the temprorary table is wrong, how to put specific column first?

如何在增量表中創建嵌套生成列（作為 StructType 的一部分）？

[英]How to create a nested generated column (as part of StructType) in a delta table?

如何在 scala 中不覆蓋的情況下將新列添加到增量表中

[英]How to add a new column into delta table without overwrite in scala

如何查看 Delta Lake 中特定版本數據的特定變化

[英]How to view specific changes in data at particular version in Delta Lake

將數據從 spark 數據幀插入到 SQL Server 中的表中

[英]INSERT data from spark dataframe to a table in SQL server

暫無

暫無

聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

相關問題 如何使用 Spark Structured Streaming 將數據從 Kafka 主題流式傳輸到 Delta 表在 Databricks 增量表中啟用更改數據饋送將數據插入到具有更改架構的增量表中如何向 Delta Lake 表添加新列？如何向增量表中的 updateExpr 添加復雜邏輯 Apache Zeppelin從臨時表中選擇數據時的列順序錯誤，如何將特定列放在第一位？如何在增量表中創建嵌套生成列（作為 StructType 的一部分）？如何在 scala 中不覆蓋的情況下將新列添加到增量表中如何查看 Delta Lake 中特定版本數據的特定變化將數據從 spark 數據幀插入到 SQL Server 中的表中

相關標簽

粵ICP備18138465號 © 2020-2024 STACKOOM.COM