使用apache Camel處理非常大的CSV文件的最佳方法是什么？

Question

我正在將apache camel視為最適合以CSV開頭的ETL過程。

這個文件將是數百萬行，並且有一個不合適的列數（~500）

到目前為止，我已經看了幾個不同的選項 - 使用CSV數據格式進行解組，還使用camel-bindy，但沒有完全按照我的預期進行操作。

csv數據格式解析每一行，然后將列表列表傳遞給下一個處理器 - 因此，如果有數百萬行選項，它將會耗盡內存/堆空間。

這種束縛的方法看起來很棒！ 直到我解決了我需要將csv中的每一列映射到pojo，其中99％我不感興趣。

所以問題是 - 我是否需要逐行編寫一個明確的處理器或組件，它將處理每行的轉換並將其傳遞給路徑中的下一個（），或者是否有其他選項我沒有遇到過然而？

Answer 1

啊，

剛才有一個非常相似的問題（在第一次搜索時沒有找到）

在Apache Camel中處理大型CSV文件的最佳策略

答案是拆分器並輸出流。