mariadb：性能并行查询

Question

我们需要您的帮助，以进一步了解mariadb 10.2的内部结构。

我们有一个复杂的查询。 如果我们单独运行此查询，则需要5秒钟。 但是，如果我们并行运行相同的查询，则每个查询的运行时间更长。

查询在where部分包含一个随机整数，因此我们不使用查询缓存。 我们的服务器有4个cpus。

我们的观察：

（1）运行1个查询=>〜5秒

（2）运行相同的查询4次（并行）=>每个查询运行约5.5秒

（3）运行同一查询7次（并行）=>每个查询运行〜7秒

（4）运行相同的查询10次（并行）=>每个查询运行〜11秒

我们优化了查询，即不需要临时磁盘表。 我们可以看到，所有4个cpus的负载回旋约为80-90％。

但是我们不知道为什么执行时间如此不同。

谢谢，雷内

Answer 1

您是否曾经因为打开太多应用程序而使笔记本电脑速度变慢？

任何计算机都有有限数量的资源。 CPU，RAM，磁盘。 如果您运行一个使用大量资源的流程，则下一个流程的可用资源将减少。

并行线程相同，每个线程都运行一个查询。 他们每个人都需要使用一些CPU来处理数据。 如果数据在磁盘上，则需要将其加载到缓冲池中，这会占用一些磁盘带宽。

此外，某些内部数据结构需要全局锁定。 就像两个线程试图将页面加载到缓冲池中一样，两个线程都需要一个全局锁，以便它们可以找到空闲页面。 一个线程抓住该锁，执行其工作，然后释放该锁。 在此期间，第二个线程一直在等待。 这种情况每秒发生很多次，但是线程越多，争用就越多。

Answer 2

让我们尝试加快查询速度。

听起来查询正在执行表扫描或其他一些I / O密集型任务。 请注意，磁盘（在大多数系统中）是单线程的。 也就是说，您的“并行”不会扩展到I / O。

“我们优化了查询，不需要临时磁盘表。” -这只是许多优化中的一种。 让我们看更多。

您有“综合”索引吗？

您是否在函数调用中隐藏了索引列？

向我们显示查询，以及SHOW CREATE TABLE和EXPLAIN SELECT ...