如何将增量表中的数据插入到变量中，以便对它们应用流口水规则

Question

我正在使用带有 scala 的 spark，其中我从 eventthubs 获取流数据，然后将它们存储在 delta 表中。 为了对它们应用流口水规则，我需要通过变量传递它们......我被困在我必须将数据从增量表获取到变量的地方。

Answer 1

这实际上取决于您需要将哪些数据传递给该流口水规则，以及您需要返回什么。 您可以使用：

• 用户定义的 function - 您定义将接收一个或多个参数（特定行的列值）的 function。 （更多例子）
• 使用Dataset的map function / Dataframe ZA2F2ED4F8EBC2CBB4C21A29DC40AB61D和示例来处理整个过程