使用 Springboot API 获取 Flink 结果 Apache

Question

我创建了一个 springboot 代码来使用 API，这样我就可以在用户点击端点时获取 flink 结果。

static Map<String, Long> finalList = new HashMap<String, Long>();

上面是main方法外的class变量。 在 main 方法中，flink 的数据流 API 用于使用 KafkaSource class 从 Kafka 获取数据，并在 flink 中执行聚合。 数据流被放入 data_15min 变量中，它是 DataStream<Map<String, Long>> 的 object。

我用一个map function从datastream中取出数据放到上面的finalList object中。

data_15min.map(new MapFunction<Map<String, Long>, Object>() {
                ObjectMapper objMapperNew = new ObjectMapper();
                @Override
                public Object map(Map<String, Long> value) throws Exception {
                    System.out.println("Value in map: " + value);
                    System.out.println("KeySet: " + value.keySet());
                    value.forEach((key, val) -> {

                        if(!dcListNew.contains(key)) {
                            dcListNew.add(key);
                            finalList.put(key, val);

                        } else {
                            finalList.replace(key, val);
                        }
                    });

                    System.out.println("DC List NEw inside: " + dcListNew);
                    System.out.println("Final List inside: " + objMapperNew.writeValueAsString(finalList));
                    return finalList;
                }
});
System.out.println("Final List: " + finalList);

在上面的 map function 中打印 finalList 我得到的数据是

Final List inside: {"ABC": 2, "AXY": 10}

在我打印时，在 map 之外，我仍然将其视为： Final List: {}

有人可以帮我让这个数据在 map 方法之外可用，我可以将它发送到 springboot api 响应吗？

Answer 1

我认为这不起作用的主要原因是并发性，我假设您正在某处的环境中调用execute() ，因此只有在execute()完成后您的finalList填充记录。

请注意，像这样工作根本不安全，很可能会在短时间内导致错误。 总的来说，解决方案的架构似乎缺少诸如数据库之类的东西，您可以在其中存储来自 Flink 的结果，然后从 Spring 访问数据库。