从 Ignite 缓存导出数据

Question

我看到了多个使用 Apache Ignite 加载和处理数据的示例。 但是如何在处理后从 ignite 缓存中导出数据？

我期待在集群上实现一些大型 CSV 文件的处理。 假设这是一个对特定列中的数据进行预处理的简单转换。 完成后，如何将其从缓存中取出到 S3 存储桶或其他位置。 我的数据将跨节点分区以提高加载速度并作为 KV 缓存加载。

是否有从缓存中导出数据的标准机制（CSV 输入/CSV 输出）？ 我发现 ML 模型可以利用 Exporter API。 但这不是我的用例。

扫描查询是实现我想要的标准方式吗？

Answer 1

如果你想导出整个数据集，那么是的，

ScanQuery与AffinityRun结合用于每个分区可能是迭代所有缓存条目并导出它们的最有效方法。

使用affinityRun我们要求每个节点导出其部分数据，而不是将数据拉到单个节点进行导出。

Answer 2

sqlline实用程序随 Apache Ignite 一起提供，它还可以使用!outputFormat csv写入 CSV 文件。