更改在紗線上運行的flink作業的日志文件輸出路徑

Question

我們有一些在紗線上運行的flink作業。 我們希望將flink作業日志上傳到ELK，以簡化調試/分析。 當前，flink任務管理器將日志寫入/mnt/flinklogs/$application_id/$container_id 。 我們希望它寫入沒有$applicatoin_id/$container_id嵌套結構的目錄。

我嘗試使用env.log.dir: /mnt/flink 。 使用此設置，配置將無法正確傳遞。

 -Dlog.file=/mnt/flinklogs/application_1560449379756_1312/\
    container_e02_1560449379756_1312_01_000619/taskmanager.log

Answer 1

我認為解決此問題的最佳方法是使用紗線日志聚合將日志寫入磁盤，並使用彈性文件位將其發送到彈性。