如何將 JSON Array 反序列化為 Apache beam PCollection<javaobject></javaobject>

Question

我有這樣的數據

[{"ProjectId":1476401625,"ProjectName":"This is project name","ProjectPostcode":4178},{"ProjectId":2343,"ProjectName":"This is project 2 name","ProjectPostcode":5323}]

我需要將其反序列化為 Java object 並使用以下代碼：

PCollection<Project> deserialisedProjectObject = projectFile.apply("Deserialize Projects", ParseJsons.of(Project.class))
        .setCoder(SerializableCoder.of(Project.class));

但我總是出錯

Exception in thread "main" org.apache.beam.sdk.Pipeline$PipelineExecutionException: java.lang.RuntimeException: Failed to parse a com.lendlease.dp.entity.Project from JSON value: [{"ProjectId":1476401625,"ProjectName":"This is project name","ProjectPostcode":4178},{"ProjectId":2343,"ProjectName":"This is project 2 name","ProjectPostcode":5323}]

如果我將代碼更改為：

PCollection<Project[]> deserialisedProjectObject = projectFile.apply("Deserialize Projects", ParseJsons.of(Project[].class))
        .setCoder(SerializableCoder.of(Project[].class));

跑步者能夠反序列化它，但我需要這一行來返回項目的集合； 不是項目數組的集合

Answer 1

您從 Project[] object 開始，因此解析是正確的。 要從 object 中提取項目對象，只需在 ParseJson 之后應用 FlatMap 轉換，輸出數組中的元素。

除了 ParseJson，您可能還想看看：

JsonToRow

output 是行 object，您可以將其用作提供許多不錯功能的模式，請參閱使用模式。 如果您需要管道中的實際 POJO 以及行 object，您可以使用Convert.fromRow將其轉換為 Pojo object。