更改在纱线上运行的flink作业的日志文件输出路径

Question

我们有一些在纱线上运行的flink作业。 我们希望将flink作业日志上传到ELK，以简化调试/分析。 当前，flink任务管理器将日志写入/mnt/flinklogs/$application_id/$container_id 。 我们希望它写入没有$applicatoin_id/$container_id嵌套结构的目录。

我尝试使用env.log.dir: /mnt/flink 。 使用此设置，配置将无法正确传递。

 -Dlog.file=/mnt/flinklogs/application_1560449379756_1312/\
    container_e02_1560449379756_1312_01_000619/taskmanager.log

Answer 1

我认为解决此问题的最佳方法是使用纱线日志聚合将日志写入磁盘，并使用弹性文件位将其发送到弹性。