如何為 PCollection 設置編碼器<List<String> &gt; 在 Apache Beam 中？

Question

我正在自學 Apache Beam，專門用於解析 JSON。 我能夠創建一個簡單的示例，將 JSON 解析為 POJO，將 POJO 解析為 CSV。 它要求我將.setCoder()用於我的簡單 POJO 類。

        pipeline
            .apply("Read source JSON file.", TextIO.read().from(options.getInput()))
            .apply("Parse to POJO matching schema", ParseJsons.of(Person.class))
            .setCoder(SerializableCoder.of(Person.class))
            .apply("Create comma delimited string", new PersonToCsvRow())
            .apply("Write out to file", TextIO.write().to(options.getOutput())
                .withoutSharding());

問題

現在我試圖跳過使用一些自定義轉換進行解析的 POJO 步驟。 我的管道如下所示：

        pipeline
            .apply("Read Json", TextIO.read().from("src/main/resources/family_tree.json"))
            .apply("Traverse Json tree", new JSONTreeToPaths())
            .apply("Format tree paths", new PathsToCSV())
            .apply("Write to CSV", TextIO.write().to("src/main/resources/paths.csv")
                .withoutSharding());

該管道應該采用高度嵌套的 JSON 結構並打印通過樹的每個單獨路徑。 我在上面的 POJO 示例中遇到了同樣的錯誤：

Exception in thread "main" java.lang.IllegalStateException: Unable to return a default Coder for Traverse Json tree/MapElements/Map/ParMultiDo(Anonymous).output [PCollection@331122245]. Correct one of the following root causes:
  No Coder has been manually specified;  you may do so using .setCoder().

我試過的

所以我嘗試以幾種不同的方式添加編碼器：

.setCoder(SerializableCoder.of(List<String>.class))

導致“無法從參數化類型中選擇”。 我發現不同的使用情況產生這個錯誤的另一個實例在這里，但接受的答案似乎只適用於該用例。

然后我開始仔細閱讀 Beam 文檔，發現ListCoder.of() ) 沒有（字面上）沒有描述。 但它看起來很有希望，所以我試了一下：

.setCoder(ListCoder.of(SerializableCoder.of(String.class)))

但這讓我回到了沒有手動設置編碼器的初始錯誤。

問題

如何滿足為List<String>對象設置編碼器的要求？

代碼

導致setCoder錯誤的轉換是這樣的：

package transforms;

import com.fasterxml.jackson.core.JsonProcessingException;
import com.fasterxml.jackson.databind.JsonNode;
import com.fasterxml.jackson.databind.ObjectMapper;
import org.apache.beam.sdk.transforms.MapElements;
import org.apache.beam.sdk.transforms.PTransform;
import org.apache.beam.sdk.transforms.SimpleFunction;
import org.apache.beam.sdk.values.PCollection;

import java.util.ArrayList;
import java.util.List;

public class JSONTreeToPaths extends PTransform<PCollection<String>, PCollection<List<String>>> {

    public static class ExtractPathsFromTree extends SimpleFunction<JsonNode, List<String>> {
        public List<String> apply(JsonNode root) {
            List<String> pathContainer = new ArrayList<>();
            getPaths(root, "", pathContainer);
            return pathContainer;
        }
    }

    public static class GetRootNode extends SimpleFunction<String, JsonNode> {
        public JsonNode apply(String jsonString) {
            try {
                return getRoot(jsonString);
            } catch (JsonProcessingException e) {
               e.printStackTrace();
               return null;
            }
        }
    }

    @Override
    public PCollection<List<String>> expand(PCollection<String> input) {
        return input
            .apply(MapElements.via(new GetRootNode()))
            .apply(MapElements.via(new ExtractPathsFromTree()));
    }

    private static JsonNode getRoot(String jsonString) throws JsonProcessingException {
        ObjectMapper mapper = new ObjectMapper();
        return mapper.readTree(jsonString);
    }

    private static void getPaths(JsonNode node, String currentPath, List<String> paths) {
        //check if leaf:
        if (node.path("children").isMissingNode()) {
            currentPath += node.get("Id");
            paths.add(currentPath);
            System.out.println(currentPath);
            return;
        }

        // recursively iterate over children
        currentPath += (node.get("Id") + ",");
        for (JsonNode child : node.get("children")) {
            getPaths(child, currentPath, paths);
        }
    }
}

Answer 1

雖然錯誤消息似乎暗示字符串列表需要編碼，但它實際上是JsonNode 。 我只需要進一步閱讀錯誤消息中的內容，因為開頭聲明對於問題出在哪里有點欺騙：

Exception in thread "main" java.lang.IllegalStateException: Unable to return a default Coder for Traverse Json tree/MapElements/Map/ParMultiDo(Anonymous).output [PCollection@1324829744]. 
...
...
Inferring a Coder from the CoderRegistry failed: Unable to provide a Coder 
for com.fasterxml.jackson.databind.JsonNode.
Building a Coder using a registered CoderProvider failed.

一旦我發現了這一點，我就通過擴展 Beam 的CustomCoder類解決了這個問題。 這個抽象類很好，因為您只需要編寫代碼來序列化和反序列化對象：

public class JsonNodeCoder extends CustomCoder<JsonNode> {

    @Override
    public void encode(JsonNode node, OutputStream outStream) throws IOException {
        ObjectMapper mapper = new ObjectMapper();
        String nodeString = mapper.writeValueAsString(node);
        outStream.write(nodeString.getBytes());
    }

    @Override
    public JsonNode decode(InputStream inStream) throws IOException {
        byte[] bytes = IOUtils.toByteArray(inStream);
        ObjectMapper mapper = new ObjectMapper();
        String json = new String(bytes);
        return mapper.readTree(json);
    }
}

希望這可以幫助其他一些 Beam 新手。