Select PCollection 中的一些列（Apache Beam、Python）

Question

我有以下 PCollection：

我只想 select 來自該 PCollection 的 2 列。 我試着做：

def cut_data(data):
    return data[["WebSpeedRef", "WebSpeedAct"]]

data_min = data_json | 'min' >> beam.Map(cut_data)

但出現錯誤。 完成此操作的最簡單方法是什么。

Answer 1

你可以這樣做：

disired_columns = (
    dataset
    | beam.Map(lambda x: [x["column1"], x["column2"]])
)