从 docker 容器挂起的 cdc 连接器传出 gRPC/Http2 连接

Question

我在 docker 容器内运行Google 的 cdc 连接器的分支。

连接器成功连接到 postgres 并接收更改事件。 但是，当尝试在将第一项发送到 Google PubSub 之前查找 Datacalog 条目时，它挂在 Http 的级别上。 嵌入式 netty 客户端的最后日志是：

[grpc-default-worker-ELG-1-9] DEBUG io.grpc.netty.shaded.io.grpc.netty.NettyClientHandler - [id: 0xd85c91ca, L:/192.168.178.32:54074 - R:datacatalog.googleapis.com/216.58.214.10:443] INBOUND SETTINGS: ack=false settings={MAX_CONCURRENT_STREAMS=100, INITIAL_WINDOW_SIZE=1048576, MAX_HEADER_LIST_SIZE=65536}
[grpc-default-worker-ELG-1-9] DEBUG io.grpc.netty.shaded.io.grpc.netty.NettyClientHandler - [id: 0xd85c91ca, L:/192.168.178.32:54074 - R:datacatalog.googleapis.com/216.58.214.10:443] OUTBOUND SETTINGS: ack=true
[grpc-default-worker-ELG-1-9] DEBUG io.grpc.netty.shaded.io.grpc.netty.NettyClientHandler - [id: 0xd85c91ca, L:/192.168.178.32:54074 - R:datacatalog.googleapis.com/216.58.214.10:443] INBOUND WINDOW_UPDATE: streamId=0 windowSizeIncrement=983041
[grpc-default-worker-ELG-1-9] DEBUG io.grpc.netty.shaded.io.grpc.netty.NettyClientHandler - [id: 0xd85c91ca, L:/192.168.178.32:54074 - R:datacatalog.googleapis.com/216.58.214.10:443] INBOUND SETTINGS: ack=true

我正在运行的 docker 命令是

docker run -e "GOOGLE_APPLICATION_CREDENTIALS=/conf/credentials.json" -it --network=host eu.gcr.io/halfpipe-io/nemo-cdc-embedded-connector

当我直接运行应用程序而不是在 docker 容器内时，一切正常。 在这种情况下，记录的下一个 Http2 帧（在上面的帧之后）是：

[grpc-default-worker-ELG-1-5] DEBUG io.grpc.netty.shaded.io.grpc.netty.NettyClientHandler - [id: 0xbf927477, L:/10.14.128.10:46308 - R:pubsub.googleapis.com/142.250.179.170:443] OUTBOUND HEADERS: streamId=3 headers=GrpcHttp2OutboundHeaders[:authority: pubsub.googleapis.com:443, :path: /google.pubsub.v1.Publisher/Publish, :method: POST, :scheme: https, content-type: application/grpc, te: trailers, user-agent: grpc-java-netty/1.35.0, x-goog-api-client: gl-java/1.8.0_312 gapic/ gax/1.63.0 grpc/, x-goog-request-params: topic=projects/snd-professional/topics/cdc-nemo_angler_staging.public.USERS, grpc-accept-encoding: gzip, authorization: Bearer ya29.c.b0AXv0zTPY71MG6GqeBrQYDBfo92wqXCVg2ullVE0dKsNR-zoOFkabMW9HlT8RmoJE_EVqSltAC0iPosjNdX2Dw0FpyrDyiMVdBQDZPyC2GoU8NsgGlzJeZ9_Sxdv4hHkw3zC5I8y1kOvFB7y1_f44uV1_IcR5slLgy7ySBeTSJuuvjzkmzIEM-7h5cxdL3XQpgBWjYeJvSI0WYzroSZgHTDy-Ede7PfI3sw, grpc-timeout: 4840626u] streamDependency=0 weight=16 exclusive=false padding=0 endStream=false

但是由于某种原因，这个步骤永远不会在容器内到达。

我尝试在容器内使用 curl 执行相同的 Http 调用。 这也有效。

curl -v --http2 --location "https://datacatalog.googleapis.com/v1beta1/entries:lookup?linkedResource=//pubsub.googleapis.com/projects/<the-project>/topics/<the-topic>" -H "Authorization: Bearer <the-token>"

感谢您提供解决问题的任何想法！

Answer 1

我已经设法让事情再次发挥作用。

TL；DR 原因是类路径中混合了过时的库和不同版本的相同库。 这仅在 docker 中显示，我怀疑库的加载顺序不同。

细节：

我已将 grpc-* 库版本从 1.35.0 升级到 1.41.0。 这部分是通过增加 org.apache.beam:beam-sdks-java-bom 的版本来实现的，它具有更新的传递依赖项。这似乎解决了下面提到的 IllegalAccessError 正在停止 grpc 调用而没有任何工作的问题记录。

升级后，出现了 IllegalAccessError。 这是由 com.google.protobuf:protobuf-java 的版本冲突引起的。 我通过从 io.debezium:debezium-connector-postgres maven 依赖项中排除坏版本来解决这个问题。

我怀疑清理依赖项的潜力更大，尤其是查看来自 cdc-commons 的阴影 jar。