用于使用来自不同数据源的大量数据的架构设计

Question

目前的产品实现是：后端使用spring-boot，前端使用React\Redux app。

到目前为止，我们只使用一个数据量很小的数据库 (Oracle)。 最近由于业务需要（客户端的更多信息），我们需要从包含大量数据的更多数据库（可以是 Oracle 和 MySql）中提取更多数据。

由于数据量大，通过 spring boot 使用常规 SQL 执行此操作将不起作用。 我们无法在数据库中工作，因为它们属于外部客户，我们还需要合并数据进行分析。

总而言之——我正在寻找一些可以与不同数据源一起工作的中间件产品，能够处理大量数据，能够创建 API 以处理来自不同来源的数据，最后这需要非常快为了在客户端 (Rest\React) 查看输出。

很高兴听到您的故事\经验和推荐。

谢谢

Answer 1

我们最近从我们的客户那里实施了一些类似的要求。 解决方案完全基于 AWS 云原生和无服务器。 后端（来自不同来源的数据整合和数据检索到 React）可以通过几种不同的方式完成。

数据整合后端——现有的 Java 代码可以分解为 Lambda Java 函数，并且通过启用 VPC，这些代码还可以与本地数据源对话。 或者，如果商业工具准备就绪，可以使用 Batch 或 Databricks。

React 的数据检索 - 如果需要利用现有代码/逻辑，无服务器 Java 函数。

数据存储 - Redshift？ 取决于您的预算。

Answer 2

一种可能的解决方案是使用多个Kafka Connect源连接器从不同的数据源中提取数据。 他们（连接器）会将数据放入 Kafka 主题中。 Kafka是一个非常快速可靠的流媒体平台。

如果您的应用程序有一些要求在将数据提供给前端之前处理数据，那么您可以编写一个应用程序来执行此操作并公开所需的端点以公开数据。

如果您需要访问原始数据，那么 Kafka 生态系统有REST 代理，它通过 REST 公开主题数据。

所以简而言之，你的管道看起来像

数据源 -> Kafka Connect -> Kafka -> Kafka REST 代理/自定义数据处理应用程序 -> React 前端。