Flink Streaming File Sink 的 output 路径格式可以改吗？

Question

赏金将在 7 天后到期。 此问题的答案有资格获得+50声望赏金。 Rinze想让更多人关注这个问题。

我正在使用 Pyflink 和 Streaming API 将数据同步到文件系统中。 output 文件的路径如下：

-2023-01-28--01
 |-part-xxx-0.json
-2023-01-28--03
 |-part-xxx-0.json

output 文件路径格式似乎是{year}-{month}-{day}--{hour}/part-xxx-{commit}.json 。 如何将路径格式更改为{year}/{month}/{day}/{hour}/part-xxx-{commit}.json ？

Answer 1

写一个自定义的 class extends DateTimeBucketAssigner 并覆盖 getBucketId 方法中的路径生成逻辑

这是一个示例 - 保存到前缀为 POJO class 名称的路径：

public class DateTimeWithClassPrefixBucketAssigner<IN> extends DateTimeBucketAssigner {
....
    @Override
    public String getBucketId(Object element, Context context) {
        if (dateTimeFormatter == null) {
            dateTimeFormatter = DateTimeFormatter.ofPattern(formatString).withZone(zoneId);
        }
        String prefix = element.getClass().getSimpleName();
        return prefix + "/" + dateTimeFormatter.format(Instant.ofEpochMilli(context.currentProcessingTime()));
    }
}

结束隐蔽数据格式

import java.text.SimpleDateFormat;
...
    String input = "2022-01-31--10";
    String output = new SimpleDateFormat("{year}/{month}/{day}/{hour}/part-xxx.json").format(
            new SimpleDateFormat("yyyy-MM-dd--HH").parse(input)