![](/img/trans.png)
[英]Docker image for Confluent - adding Confluent Hub connectors
[英]Print Data from Confluent Source and Sink connectors
我已经使用汇流安装了源连接器和接收器连接器,并且它们工作正常。 但是当我看到使用
docker logs -f container-name
输出是这样的
[2018-09-19 09:44:06,571] INFO WorkerSourceTask{id=mariadb-source-0} Committing offsets (org.apache.kafka.connect.runtime.WorkerSourceTask)
[2018-09-19 09:44:06,571] INFO WorkerSourceTask{id=mariadb-source-0} flushing 0 outstanding messages for offset commit (org.apache.kafka.connect.runtime.WorkerSourceTask)
[2018-09-19 09:44:06,573] INFO WorkerSourceTask{id=mariadb-source-0} Finished commitOffsets successfully in 2 ms (org.apache.kafka.connect.runtime.WorkerSourceTask)
[2018-09-19 09:44:16,194] INFO WorkerSinkTask{id=oracle-sink-0} Committing offsets asynchronously using sequence number 1077: {faheemuserdbtest-0=OffsetAndMetadata{offset=7, metadata=''}} (org.apache.kafka.connect.runtime.WorkerSinkTask)
[2018-09-19 09:44:16,574] INFO WorkerSourceTask{id=mariadb-source-0} Committing offsets (org.apache.kafka.connect.runtime.WorkerSourceTask)
[2018-09-19 09:44:16,574] INFO WorkerSourceTask{id=mariadb-source-0} flushing 0 outstanding messages for offset commit (org.apache.kafka.connect.runtime.WorkerSourceTas
但这不是主题中的实际数据,有没有办法我可以在日志中打印该数据? 因为我要将这些日志移至kibana仪表板。 是的,我可以从Kafka主题中读取数据,但这不是我的情况。
不,您在日志中看不到该数据。
连接器不打印实际复制的数据。 如果您有这样的要求,则可能必须更改源连接器和接收器连接器源代码中的日志记录机制,并根据需要对其进行自定义。
根据连接器的不同,如果在连接器Log4j属性中启用了TRACE日志记录,则可以看到消息。
如果使用Confluent的docker映像,则可以使用一些CONNECT_LOG4J_LOGGERS
环境变量来控制
如果要在Elasticsearch中使用实际的JDBC数据,通常会安装Elasticsearch接收器,尽管不是从这些日志中解析出它
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.