[英]Is it possible to write kafka consumer received output to a file using java
我有一個用Java編寫的寫Kafka消息的Kafka Producer代碼。 以及接收這些消息的消費者代碼。
是否有可能將消費者收到的這些消息寫入Java中的任何文本文件。
如果您要編寫自己的使用者,則應包括在同一應用程序中寫入文件的邏輯。 使用預打包的控制台使用者,您可以將其通過管道傳輸到文件。 例如: kafka-console-consumer > file.txt
另一個(無代碼)選項是嘗試StreamSets Data Collector一個開源的Apache許可工具,該工具也具有拖放UI。 它包括用於Kafka和各種數據格式的內置連接器。
*全面披露我是該項目的提交者。
多謝你們,
我能夠實現。 一旦在用戶端接收到數據,那么這就是您必須編寫的通用Java代碼。
下面是ode中將消息打印到控制台的行。
System.out.println(String.valueOf(messageAndOffset.offset()) + ": " + new String(bytes, "UTF-8"));
您可以將所有消息存儲到字符串,然后一次將所有消息打印到文件。
System.out.println(String.valueOf(messageAndOffset.offset()) + ": " + new String(bytes, "UTF-8"));
completMessage += new String(bytes, "UTF-8")+"\n";
new String(bytes, "UTF-8")+"\\n";
包含實際消息。
最后,將所有消息打印到文件中。
writeDataToFile(completMessage);
writeDataToFile
包含用於將字符串寫入文件的簡單Java代碼。
謝謝。
有可能的。 以下是此的工作代碼。
package com.venk.prac;
import java.io.BufferedWriter;
import java.io.FileWriter;
import java.io.IOException;
import java.util.Collections;
import java.util.Properties;
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.serialization.IntegerDeserializer;
import org.apache.kafka.common.serialization.StringDeserializer;
import kafka.utils.ShutdownableThread;
public class FileConsumer extends ShutdownableThread {
private final KafkaConsumer<Integer, String> kafkaConsumer;
private String topic;
private String filePath;
private BufferedWriter buffWriter;
public FileConsumer(String topic, String filePath) {
super("FileConsumer", false);
Properties properties = new Properties();
properties.setProperty(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG,
KafkaProperties.KAFKA_BROKER_SERVERS_PORTS_STRING);
properties.setProperty(ConsumerConfig.GROUP_ID_CONFIG, "FileConsumer");
properties.setProperty(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, "1000");
properties.setProperty(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "true");
properties.setProperty(ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG, "30000");
properties.setProperty(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, IntegerDeserializer.class.getName());
properties.setProperty(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
kafkaConsumer = new KafkaConsumer<Integer, String>(properties);
this.topic = topic;
this.filePath = filePath;
try {
this.buffWriter = new BufferedWriter(new FileWriter(filePath));
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
@Override
public void doWork() {
// TODO Auto-generated method stub
kafkaConsumer.subscribe(Collections.singletonList(this.topic));
ConsumerRecords<Integer, String> consumerRecords = kafkaConsumer.poll(1000);
try {
for (ConsumerRecord<Integer, String> record : consumerRecords)
buffWriter.write(record.value() + System.lineSeparator());
buffWriter.flush();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
@Override
public String name() {
// TODO Auto-generated method stub
return null;
}
@Override
public boolean isInterruptible() {
return false;
}
}
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.