使用 Beam Java SDK 在 Google Dataflow 上安裝 apt-get 依賴項

Question

我們目前正在嘗試讓 OpenCV 在 Google Cloud Dataflow 上的 Java 作業中運行。 不幸的是，我們無法將 Dataflow 使用的 Docker 容器替換為安裝了 OpenCV 的容器。 （ 請參閱其他問題）如果我們使用 Python SDK，則可以選擇指定可用於調用apt-get的setup.py文件。 使用 Java SDK 創建的作業是否有類似的東西？

謝謝你的幫助！

Answer 1

我想出了一個解決方案，但可能有更優雅的方法來做到這一點。

@Setup
public void setupDoFn() {
    ProcessBuilder pb = new ProcessBuilder("apt-get", "install", "-y", "libopencv-dev");
    try {
        Process p = pb.start();
        String line;
        BufferedReader input =
                new BufferedReader
                        (new InputStreamReader(p.getInputStream()));
        while ((line = input.readLine()) != null) {
            logger.debug("Apt-get: " + line);
        }
        input.close();
        // Initialize the OpenCV Libarary
        nu.pattern.OpenCV.loadLibrary();
    } catch (IOException e) {
        e.printStackTrace();
        // If we could not install OpenCV, we have to terminate the stream
        System.exit(-1);
    }

}

Answer 2

Cloud Dataflow 現在支持自定義容器，可以安裝其他庫（例如 OpenCV）。 有關更多信息，請參閱此頁面。