Kafka Connect：多个独立连接器可以写入同一个 HDFS 目录吗？

Question

对于我们的管道，我们有大约 40 个主题（每个 10-25 个分区），我们希望在独立模式下使用 HDFS 3 Sink 连接器将它们写入同一个 HDFS 目录（分布式不适用于我们当前的设置）。 我们已尝试在一个连接器上运行所有主题，但如果需要重新启动，则在恢复偏移量时遇到问题。

如果我们在不同的独立连接器之间划分主题，它们是否都可以写入同一个 HDFS 目录？ 由于连接器然后按主题组织 HDFS 中的所有文件，我认为这不应该是一个问题，但我想知道是否有人对此设置有经验。

基本示例： Connector-1 配置

name=connect-1
connector.class=io.confluent.connect.hdfs3.Hdfs3SinkConnector
topics=topic1
hdfs.url=hdfs://kafkaOutput

连接器 2 配置

name=connect-2
connector.class=io.confluent.connect.hdfs3.Hdfs3SinkConnector
topics=topic2
hdfs.url=hdfs://kafkaOutput

Answer 1

分布式不适用于我们当前的设置

您应该能够运行connect-distibured作为完全相同的节点connect-standalone为然。

我们尝试在一个连接器上运行所有主题，但如果需要重新启动，则在恢复偏移量时遇到问题

是的，我建议不要将所有topics捆绑到一个连接器中。

如果我们在不同的独立连接器之间划分主题，它们是否都可以写入同一个 HDFS 目录？

这是我个人的建议，是的，他们可以，因为 HDFS 路径以主题名称命名，并由分区方案进一步拆分

---

注意：以下允许适用于所有其他存储连接器（S3 和 GCS）