如何在Flink中连续读取CSV文件并删除标题

Question

我正在使用Flink流API，并且希望从文件夹中连续读取CSV文件，忽略标题，并将CSV文件中的每一行转换为Java类（POJO）。 经过所有这些处理之后，我应该获得Java对象（PO​​JO）流。

到目前为止，我执行以下操作来部分实现行为（以下代码）：

• 连续读取CSV文件作为常规文本文件
• 从CSV文件中获取字符串流

• 将字符串流转换为Java对象流

   String path = "/home/cosmin/Projects/flink_projects/flink-java-project/data/"; TextInputFormat format = new TextInputFormat( new org.apache.flink.core.fs.Path(path)); DataStream<String> inputStream = streamEnv.readFile(format, path, FileProcessingMode.PROCESS_CONTINUOUSLY, 100); DataStream<MyEvent> parsedStream = inputStream .map((line) -> { String[] cells = line.split(","); MyEvent event = new MyEvent(cells[1], cells[2], cells[3]); return event; }); 

但是，有了这个，我无法在每个CSV文件中删除标题行。

我已经阅读到可以通过在StreamExecutionEnvironment类上使用createInput()或addSource ()方法来构建用于读取CSV文件的自定义连接器。

因为除了Javadoc之外，我还没有发现其他示例，您能为如何实现此目标提供一些指导吗？

Answer 1

您可以在地图函数之前链接一个过滤器函数以过滤出标题行

inputStream.filter(new FilterFunction<String>() {
    public boolean filter(String line) { 
        if (line.contains("some header identifier")) return false;
        else return true;
    }
}).map(...)     <Your map function as before>