Apache Flink在群集上引发UnknownHostException

Question

我有一个flink项目正在连接到nifi以提取数据。 在本地运行时，拉取获取数据流的设置工作正常。

.url("http://1.2.3.4:8080/nifi")
            .portName("MyPortName")
            .requestBatchCount(5)
            .buildConfig();

但是，当我将.jar添加到远程集群并运行作业时，它将引发以下情况：

java.net.UnknownHostException
at sun.nio.ch.Net.translateException(Net.java:177)
at sun.nio.ch.SocketAdaptor.connect(SocketAdaptor.java:127)
at org.apache.nifi.remote.client.socket.EndpointConnectionPool.establishSiteToSiteConnection(EndpointConnectionPool.java:712)
at org.apache.nifi.remote.client.socket.EndpointConnectionPool.establishSiteToSiteConnection(EndpointConnectionPool.java:685)
at org.apache.nifi.remote.client.socket.EndpointConnectionPool.getEndpointConnection(EndpointConnectionPool.java:301)
at org.apache.nifi.remote.client.socket.SocketClient.createTransaction(SocketClient.java:129)
at org.apache.flink.streaming.connectors.nifi.NiFiSource.run(NiFiSource.java:90)
at org.apache.flink.streaming.api.operators.StreamSource.run(StreamSource.java:78)
at org.apache.flink.streaming.api.operators.StreamSource.run(StreamSource.java:55)
at org.apache.flink.streaming.runtime.tasks.SourceStreamTask.run(SourceStreamTask.java:56)
at org.apache.flink.streaming.runtime.tasks.StoppableSourceStreamTask.run(StoppableSourceStreamTask.java:39)
at org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:272)
at org.apache.flink.runtime.taskmanager.Task.run(Task.java:655)
at java.lang.Thread.run(Thread.java:745)

我能找到UnknownHostException的唯一原因是因为无法解析主机名的IP，但是我已经提供了IP。 之前有一个问题，它无法连接到nifi，因为我必须设置允许访问nifi实例的IP。 因此，我在允许的情况下添加了AWS服务器，并对其进行了修复，但显然现在有了。

任何帮助是极大的赞赏！

Answer 1

我发现了问题。 我的nifi群集和flink群集位于不同的区域。 将flink集群移到了相同的区域，并对该集群使用了公共URL或私有URL，它都能正常工作。