Redis 在 6 小时正常运行后使用 100% CPU

Question

如上图所示，Redis 运行了很长时间后，我遇到了性能问题； 特别是，6小时。

我正在使用 Redis 来缓存来自 API 的响应，因此我不必在每个请求上重新获取数十行，我想 - 嘿，这应该可行。 显然不是。

module.exports = (app, csrfProtection, jsonParser) => {
    app.get("/api/steam/getPlayerSummaries", [steamRateLimits.getPlayerSummaries, jsonParser, csrfProtection], async(req, res) => {
        redisClient.hmget("steam_user", req.query.steamids, (err, reply) => {
            if(err) return res.status(500).send({ message: `Could not read from Redis with error ${err}`});

            redisClient.hmget(`steam_user_expires_${req.query.steamids}`, "expires", (err, expire) => {
                if(err) return res.status(500).send({ message: `Could not read from Redis with error ${err}`});

                if(reply[0] && (CURRENT_UNIX_TIME - expire < REDIS_EXPIRE_LIMIT)) return res.status(200).send(JSON.parse(reply));

                const queryParams = querystring.stringify({
                    key: process.env.STEAM_API_KEY,
                    steamids: req.query.steamids
                }),
                options = {
                    headers: {
                        "Content-Type": "application/x-www-form-urlencoded"
                    }
                };

                http.get(`http://api.steampowered.com/ISteamUser/GetPlayerSummaries/v0002/?${queryParams}`, options, response => {
                    const { statusCode } = response;

                    if(statusCode != 200) {
                        response.resume();
                        return res.status(statusCode).send({ message: `Could not fetch Steam API getPlayerSummaries with status code ${statusCode}`});
                    }

                    response.setEncoding("utf8");
                    let rawData = "";

                    response.on("data", chunk => rawData += chunk);
                    response.on("end", _ => {
                        try {
                            const parsedData = JSON.parse(rawData);

                            redisClient.hmset(["steam_user", req.query.steamids, rawData]);
                            redisClient.hmset([`steam_user_expires_${req.query.steamids}`, "expires", CURRENT_UNIX_TIME]);

                            return res.status(200).send(parsedData);
                        } catch (e) {
                            console.error(e.message);
                        }
                    });
                }).on("error", e => {
                    console.error(`Got error: ${e.message}`);
                    return res.status(500).send(e);
                });
            });
        });
    });
}

以下是当用户尝试访问此路线时按时间顺序发生的情况的进度概览：

1. 用户加载索引（默认）网页。 这个页面可以有超过 20 行，需要从远程 API 运行 20 个 API 查询（我缓存它的原因之一）。
2. 检查用户是否已经缓存在redis中
3. 检查该 Steam 用户是否存在过期密钥（即使它不存在）。
4. 如果缓存存在并且它是在不到 15 分钟前获取的，则显示来自 Redis 缓存的结果。
5. 如果缓存不存在，我们查询远程 API。
6. 如果请求成功，将数据缓存到 Redis 并返回响应。

出于某种原因，这本身就陷入了困境，运行一段时间后，Redis 使用了如此多的 CPU 和 RAM，这太疯狂了，我以为我正在正确地处理这个问题。

我还每天使用 shell 脚本和 crontab 清除所有缓存。

redis-cli KEYS "steam_user*" | xargs redis-cli DEL

为什么它会继续使用更多的 CPU 和 RAM（即使实际上没有访问者，而且我不敢想象如果有很多访问者会发生什么），我该如何解决这个问题来解决它?

Answer 1

使用您所有资源的进程是 /tmp/kdevtmpfsi。 快速谷歌搜索显示它正在挖掘恶意软件。 这意味着不是 Redis 也不是你的程序有某种错误。 Github 上的这个评论解释了如何摆脱它。