Apache 光束 ParDo 滤波器 Go

Question

我是 Python 开发人员，但应该使用 Go 制作数据流管道。与 Python 或 Java 相比，我找不到使用 Go 的 Apache Beam 的示例。

我有以下代码，其中包含用户名和年龄结构。 任务是增加年龄，然后过滤年龄。 我找到了增加年龄的方法，但停留在过滤部分。

package main

import (
    "context"
    "flag"
    "fmt"

    "github.com/apache/beam/sdks/v2/go/pkg/beam"
    "github.com/apache/beam/sdks/v2/go/pkg/beam/log"
    "github.com/apache/beam/sdks/v2/go/pkg/beam/x/beamx"
)

func init() {
    beam.RegisterFunction(incrementAge)
}

type user struct {
    Name string
    Age  int
}

func printRow(ctx context.Context, list user) {
    fmt.Println(list)
}

func incrementAge(list user) user {
    list.Age++
    return list
}

func main() {

    flag.Parse()
    beam.Init()

    ctx := context.Background()

    p := beam.NewPipeline()
    s := p.Root()

    var userList = []user{
        {"Bob", 40},
        {"Adam", 50},
        {"John", 35},
        {"Ben", 8},
    }
    initial := beam.CreateList(s, userList)

    pc := beam.ParDo(s, incrementAge, initial)

    pc1 := beam.ParDo(s, func(row user, emit func(user)) {
        emit(row)
    }, pc)

    beam.ParDo0(s, printRow, pc1)

    if err := beamx.Run(ctx, p); err != nil {
        log.Exitf(ctx, "Failed to execute job: %v", err)
    }

}

我尝试创建一个如下所示的 function，但这会返回一个布尔值而不是用户 object。我知道我错过了一些简单但无法弄清楚的东西。

func filterAge(list user) user {
    return list.Age > 40    
}

在 Python 中，我可以像下面这样写 function。

beam.Filter(lambda line: line["Age"] >= 40))

Answer 1

您需要在 function 中添加一个发射器来发射用户：

func filterAge(list user, emit func(user)) {
    if list.Age > 40 {
        emit(list)
    }
}

正如您当前代码中所写， return list.Age > 40 list.Age > 40首先评估为 true （布尔值），然后返回此 boolean 。