Kafka 连接 s3 sink 多个分区

Question

我对 kafka connect S3 sink connector 有很多疑问

1.我想知道是否可以使用kafka connect的S3 sink来保存多个分区的记录？

例如我有这个 json 记录：

{
 "DateA":"UNIXTIMEA",
 "DateB":"UNIXTIMEB",
 "Data":"Some Data"
}

（所有字段都是顶级的）

是否可以通过以下路径将数据保存在 S3 中：

s3://sometopic/UNIXTIMEA/UNIXTIMEB

2.我可以在不改变记录值本身的情况下将 UNIXTIMEA/UNIXTIMEB 转换为可读的日期格式吗？ （出于可读性原因）

3. 我可以在 S3 路径中为 UNIXTIMEA 添加前缀吗？ 例如：

s3://DateA=UNIXTIMEA/DateB=UNIXTIMEB/...

我刚开始阅读文档，慢慢地掌握了窍门，但我还没有真正找到这些问题的直接答案。

我想在我的配置中基本上执行所有这些操作，但我怀疑如果没有自定义分区程序我是否可以，我想尽快确认这一点。

提前致谢

C.土豆

Answer 1

FieldPartioner 确实采用字段名称列表

https://github.com/confluentinc/kafka-connect-storage-common/blob/v11.0.5/partitioner/src/main/java/io/confluent/connect/storage/partitioner/FieldPartitioner.java#L34-L40