NIFI：将SQL查询中的每月转储作为CSV文件接收到SFTP服务器中

Question

我想使用SQL查询将数据分别作为每月CSV存储到SFTP服务器中。

例如，我的查询是：

    select fooId, bar from FooBar 
where query_date>=20180101 and query_date<20180201 --(for the month of January 2018)

我想将其存储为20180101_FooBar.csv到我的SFTP服务器上。 同样，其他月份的其他文件也按照相同的过程进行查询，但间隔不同。

需要考虑的重要事项： I have to store the *fooId* as MD5 Hash string.

如何在NIFI中自动执行此流程？

大致来说，我预见的流程是：

*ExecuteSQL*(but not sure how to paramterize the counter for query_date) 
-> *ConvertAvroToJson* 
-> *EvaluateJsonPath* (to extract the fooID ) 
-> *HashContent* 
-> *MergeContent* 
-> *PutSFTP*

请为我提出建议。

Answer 1

对于这种情况，我可以想到三种方法。

方法1 ：使用MD5函数执行SQL查询以获取fooId的哈希值：

流：

1. GenerateFlowFile //添加开始日期，结束日期属性

    startdate -> ${now():format("yyyyMM"):minus(1):append("01")} enddate -> ${now():format("yyyyMM"):append("01")} 

2. ExecuteSQL //选择md5（fooId）foodId，从FooBar中输入bar

    query_date>=${startdate} and query_date<${enddate} 

   根据您的来源更改上述查询，以获取列的md5哈希值

3. ConvertRecord //将Avro格式转换为Json格式

4. UpdateAttribute //更改文件名
5. PutSFTP //存储文件。

方法2 ：在NiFi中创建MD5哈希值

流：

1. GenerateFlowFile //添加开始日期，结束日期属性

    startdate -> ${now():format("yyyyMM"):minus(1):append("01")} enddate -> ${now():format("yyyyMM"):append("01")} 

2. ExecuteSQL //选择fooId，从FooBar中删除

   其中query_date> = $ {startdate}和query_date

   根据您的来源更改上述查询，以获取列的md5哈希值

3. ConvertRecord //将Avro格式转换为Json格式

4. SplitJson //将json数组拆分为单独的流文件
5. EvaluateJsonPath //将除fooId键之外的所有键值提取为流文件属性。
6. EvaluateJsonPath //使用fooId值覆盖流文件内容
7. HashContent //使用MD5算法获取流文件内容的哈希值
8. AttributesToJson //使用新的哈希md5值重新创建json消息
9. MergeContent //使用折旧策略创建json数组
10. UpdateAttribute //更改文件名
11. PutSFTP ////存储文件。

另一种方法是编写一个脚本 ， 该脚本可以解析json数组消息并为fooId键创建md5 hashvalue ，并使用新的md5哈希值编写json消息。

我上传这两种方法Approach1和Approach2模板，保存并上传到NiFi实例更多的参考和使用你的情况最适合的方法。