使用 Azure 提高 .Net 核心分析应用程序的性能

Question

我们有一个使用 .net 核心开发的分析应用程序，它结合了来自两个现有数据源的 output，然后响应客户对特定公司数据的请求。 应用程序部署到 azure。其中一个数据源是另一个分析 model，它每天一次，在午夜之后生成一个基准文件。 另一个数据源是内部 API，它提供定价信息。 这些记录包含大约 30,000 家公司的数据，其中使用基准文件和定价数据进行的计算大约需要 5 分钟/公司，结果（10KB 的 JSON）对该公司的所有请求有效，直到第二天。 我们正在努力减少处理时间/公司（理想情况下需要一两秒（最大））。

Azure Stream Analytics/Azure Data bricks 是否有助于减少处理时间？

任何输入都会有所帮助。 谢谢

Answer 1

Azure Stream 分析是一项 stream 处理服务。 它在 stream 传入事件上近乎实时（非常低的延迟）应用 SQL 中定义的业务逻辑。 主要应用程序是：事件驱动架构、流式 ETL 和实时仪表板。

在这里，您批量处理数据（“每天一次”），因此 Azure Stream Analytics 不是适合此用例的服务。

根据您想使用哪种语言来表达业务逻辑，Azure Databricks、Azure Data Factory 和/或 Azure Synapse SQL Pool 是可供选择的主要工具。