Spark Cassandra 连接器与 java ConnectionInitException 的警告消息

Question

当我运行 cassandra 作业时，我不断收到 spark 项目的此 WARN 消息

WARN ChannelPool: [s0|/172.17.0.3:9042]  Error while opening new channel (ConnectionInitException: [s0|connecting...] Protocol initialization request, step 1 (STARTUP {CQL_VERSION=3.0.0, DRIVER_NAME=DataStax Java driver for Apache Cassandra(R), DRIVER_VERSION=4.5.0, CLIENT_ID=ef6bf95c-e93f-4f59-860a-829ae07e80cb, APPLICATION_NAME=Spark-Cassandra-Connector-local-1593841648738}): failed to send request (java.nio.channels.ClosedChannelException))

我没有看到任何数据丢失，但我也不确定为什么会发生这种情况

我有 3 个节点 cassandra docker 在我的电脑上运行

cassandra 版本：- 3.11.6 火花版本：- 2.4.6 java：jdk8

键空间信息：

keyspace_name    durable_writes        replication
mykeyspace          true           {class=org.apache.cassandra.locator.NetworkTopologyStrategy, datacenter1=1, datacenter2=1}

Answer 1

回答我自己的问题！

所以要解决这个问题，我们需要进入 docker 网络，以及 map 你的容器 IP 从 eth0 广播到外部世界。

下面的链接可能会有所帮助

https://docs.docker.com/network/network-tutorial-standalone/

坦率地说，我自己还没有探索过整个 docker 网络，因为在我们的案例中，我们不使用 docker 来代替 Cassandra。