Flink 和 Cassandra 連接問題

Question

當連接通常在 Flink 的 DataStreams 之外進行時，是否有人遇到過從 Flink 作業連接到 Cassandra 的問題？

    Session session = clusterBuilder.getCluster().connect();
    ResultSet resultSet = session.execute(resultStatement.getQuery());

我不是在語言環境中而是在開發環境中面對這個問題。 在本地連接中它工作正常。 當我將這段代碼保存在 DataStream processElement 中時，即使使用相同的 clusterbuilder 設置，連接也在 Dev 中建立。

我在 main 中收到 programInvocation 錯誤，由於 Flink 1.7 的限制，我看不到整個錯誤。 在儀表板中，您無法在 Flink 1.7 中看到完整的異常跟蹤。 作業未提交。

任何人對此有任何線索或遇到類似的事情？

Answer 1

最可能的原因（我不是 Flink 專家，但我已經看到 Spark 出現這個問題）是Session對象不是可序列化的，並且無法發送給執行者/工作者。

為了解決這個問題，通常有一個帶有顯式open / close調用的 API，允許初始化不可序列化的類。 正如我所見，Flink 有一個用於外部數據訪問的異步 I/O概念，它可能被用於訪問 Cassandra。