如何在 Flink 作业中执行日志记录？

Question

我正在研究一个非常简单的用例，我想检查DataStream中的数据。 我想了解是否有更好的日志记录方式。因为下面的日志记录方式看起来很丑陋并增加了一个额外的阶段。

DataStream<Conversation> stream = env.addSource(kafkaConsumer.getKafkaConsumer());
        stream.map(conversation -> {
            logger.info("Read from Kafka source conversationId: {} and content: {}",conversation.id,conversation.time);
            return conversation;
        });

Answer 1

或许你可以实现一个map函数class，然后打印class中的日志

DataStream<Conversation> stream = env.addSource(kafkaConsumer.getKafkaConsumer());
            stream.map(new MyMapFunction()
            });

public class MyMapFunction extends RichMapFunction<T> {
    @Override
    public void open(Configuration parameters) throws Exception {
    }

    @Override
    public T map(...) throws Exception {
        logger.info(xxxx);
        return xxx;
    }
}

您也可以直接使用 printsink

DataStream<Conversation> stream = env.addSource(kafkaConsumer.getKafkaConsumer());
        stream.print()