繁体   English   中英

将数据(2-3 GB)定期加载到在Kubernetes集群上运行的Apache Ignite集群的最佳方法

[英]Best way to periodically load data (2-3 GB) into Apache Ignite cluster which is running on a Kubernetes cluster

数据需要定期加载(例如每天一次),并且应以SQL格式存储,以便API可以运行SQL查询。 我们正在考虑从HDFS加载它。 当前,我们正在考虑通过PutIgniteCache使用Apache Nifi。

我当时在想,我可以启动一个远程Ignite客户端节点,然后使用IgniteDataStreamer来流传输数据,但是我找不到适合的文档。 有没有更好的方法可以做到这一点?

Nifi的文档说它使用了数据流API ,因此,除非您需要更多控制,否则它似乎不是一个坏选择(我要警告的是,在不多使用Nifi之前我从未听说过Nifi!)。

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM