Web内容聚合的可伸缩性

Question

我正在尝试为我正在制作原型的工具设计一个简单的体系结构。 基于Web的工具（基于.NET）基本上将从多个公共API请求数据，整理和处理响应数据（JSON或XML），并将聚合的数据保存在数据库中。 听起来很简单，但是该工具每天至少需要为3000名用户运行一次该过程（请求/处理/存储）。 作为计划任务（cron作业）定期运行该进程将极大地降低性能，并升级服务器上的资源使用（单个VPS）。

因此，问题是，可以使用哪种架构或框架来使这种工具既快速又可扩展，但又简单易行。

任何想法和想法都表示赞赏。

干杯。

Answer 1

如果在cron运行期间遇到资源消耗达到峰值的问题，则可以连续运行程序而不是cron。 破坏程序以便可以连续运行的细节取决于细节。 例如，假设您有3000个用户； 一种简单的方法是每28秒处理一位用户。

快速-您没有提到程序中到底有多慢，使用了哪些算法等等。您的问题听起来像是您遇到了峰值负载问题。 很多时候，快速程序导致峰值资源使用。 对我来说，听起来您会做得很好，让您的程序（故意）变慢。 AND Slow并不意味着您对程序的设计效率低下。

可扩展性-如果我们假设您的基本算法很好，那么一种可扩展的方法就是添加更多机器！