缓存失效导致高负载

Question

假设我们每秒有10K个请求到我们的php脚本。

每个请求都会检查memcached（或任何其他缓存存储）中的缓存。 如果找到了缓存，则一切正常，并返回缓存值。 如果找不到缓存，我们将执行缓慢的SQL查询以填充缓存。 这是最常见和最简单的缓存方案：

$result = $this->loadFromCache($key);
if (empty($result)) {
    $result = $this->makeSlowSqlQuery();
    $this->writeToCache($key, $result);
}
//do something with $result;

在我们没有太多请求之前，此方案一直有效。 一旦我们有太多的请求，我们将面临这样的情况：大量的请求在缓存中找不到任何内容，并尝试重新填充它。 因此，所有这些对象都将开始执行缓慢的SQL查询，这将导致高负载影响。 解决办法是什么？

作为可能的解决方案，我看到以下情形：发现高速缓存无效的第一个请求应创建一些触发器，说明已开始高速缓存重新填充，而另一个请求仅应等待新的高速缓存或使用较旧的（以前的）版本。

您如何解决类似的问题？

Answer 1

您本质上想要的是一种锁定模式：

$lockPrefix = "!lock__";
$result = $this->loadFromCache($key);
if (empty($result)) {
     $sleepLimit = 2000; // 2s timeout
     $sleepCount = 0;
     $cacheBlocked = 0;
     while ($this->loadFromCache($lockPrefix . $key) == 1) {
         // signal that something else is updating the cache
         $cacheBlocked = 1;
         // sleep for 1ms
         usleep(1000);
         // timeout logic...
         $sleepCount++
         if ($sleepCount == $sleepLimit) {
             die("Cache read timeout.");
         }
     }
     if ($cacheBlocked == 1) {
         // something else updated the cache while we were waiting
         // so we can just read that result now
         $result = $this->loadFromCache($key);
     } else {
         $this->writeToCache($lockPrefix . $key, 1); // lock
         $result = $this->makeSlowSqlQuery();
         $this->writeToCache($key, $result);
         $this->writeToCache($lockPrefix . $key, 0); // release
     }
}

这个想法是缓存是全局的，因此可以用于在请求之间保持锁定模式。 您实际上是在缓存条目上创建一个互斥体，并添加了一些逻辑，以确保仅启动一个慢速查询。