如何有效搜索潜在的大型数据库？

Question

这更多的是讨论。

我们有一个多租户的系统，它将具有可以包含数百万行的表。 我们的用户界面允许用户使用许多不同的搜索条件对这些表执行搜索-因此他们可以将这些条件进行任意组合。

为数据库中的所有这些搜索列建立索引或将完整表加载到内存中然后进行过滤是不切实际的。

有人可以为解决这个问题的模式/设计指明正确的方向吗？

Answer 1

我不知道有什么模式可以解决您所描述的情况。 无限数量的行，完全即席的查询，多个同时用户？ 这不是必需的； 那就是“一切”。

我假设这是一个报表数据库，而不是事务数据库。 数据是只读的。 那是对的吗？

具有星型模式的数据仓库将按经过精心设计的维度规定查询。 用户可以汇总维度（例如，时间维度允许用户汇总到日，周，月，季度，年等）。 但是，这样做的逻辑是在数据库上执行的，并在存储过程中进行了编码。

我会挑战这样一个断言，即用户需要在中间层上数百万行。 没有用户可以一次获取数百万行。 Google一次返回25条单个查询返回的数百万个页面。

也许您可以流化以分离方式使用的数据集，并使用Excel或其他工具进行分析。 但这是我能想到的最佳方案。