使用 Beam Java SDK 在 Google Dataflow 上安装 apt-get 依赖项

Question

我们目前正在尝试让 OpenCV 在 Google Cloud Dataflow 上的 Java 作业中运行。 不幸的是，我们无法将 Dataflow 使用的 Docker 容器替换为安装了 OpenCV 的容器。 （ 请参阅其他问题）如果我们使用 Python SDK，则可以选择指定可用于调用apt-get的setup.py文件。 使用 Java SDK 创建的作业是否有类似的东西？

谢谢你的帮助！

Answer 1

我想出了一个解决方案，但可能有更优雅的方法来做到这一点。

@Setup
public void setupDoFn() {
    ProcessBuilder pb = new ProcessBuilder("apt-get", "install", "-y", "libopencv-dev");
    try {
        Process p = pb.start();
        String line;
        BufferedReader input =
                new BufferedReader
                        (new InputStreamReader(p.getInputStream()));
        while ((line = input.readLine()) != null) {
            logger.debug("Apt-get: " + line);
        }
        input.close();
        // Initialize the OpenCV Libarary
        nu.pattern.OpenCV.loadLibrary();
    } catch (IOException e) {
        e.printStackTrace();
        // If we could not install OpenCV, we have to terminate the stream
        System.exit(-1);
    }

}

Answer 2

Cloud Dataflow 现在支持自定义容器，可以安装其他库（例如 OpenCV）。 有关更多信息，请参阅此页面。