如何将骆驼hdfs块聚合到临时文件并从中读取

Question

我有一条骆驼hdfs组件从HDFS读取文件的路线。 骆驼HDFS组件按块读取文件。 因此，如何聚合所有块并写入文件或任何其他输出源。 这样一来，以后可以用\\ n的拆分器读取它，逐记录地读取提取记录并执行进一步的处理。

HDFS文件在这里很大。

Answer 1

使用HDFS读取

<from uri="hdfs://server:port/path?owner=xxxxxx&amp;chunkSize=xxxxx&amp;pattern=xxxxx&amp;delay=xxxx&amp;initialDelay=xxxx&amp;readSuffix=xxxx&amp;connectOnStartup=xxxxx" />

这将根据块大小读取块，然后使用

<aggregate strategyRef="aggregationStrategyRef">
<correlationExpression>
<simple>header.CamelFileName</simple>
</correlationExpression>
<completionPredicate>
***Specify the predicate***
</completionPredicate>       
<to uri="direct:routeNext"/>
</aggregate>

下一步是实现用于AggregationStrategyRef的bean并在骆驼JNDI注册中心中注册。